최근 몇 년간 인공지능만큼 빠르게 발전한 것은 거의 없습니다. ChatGPT 또는 Gemini와 같은 AI 챗봇이 새로운 기능과 더 나은 성능을 자주 얻으면서 이러한 서비스 중 하나를 북마크에 고정하거나 휴대폰에 앱으로 설치하는 것은 이해할 수 있습니다. 이러한 챗봇의 공통점 중 하나는 클라우드 기반이라는 것입니다. 즉, 이를 사용하려면 활성 인터넷 연결이 필요합니다.
인터넷을 통해 제공되는 이러한 챗봇의 주목할만한 이점은 처리가 클라우드에서 이루어지므로 장치의 하드웨어 잠재력에 관계없이 가장 복잡한 LLM과 대화할 수 있다는 것입니다. 그러나 귀하의 데이터가 회사 서버로 전송되기 때문에 개인 정보 보호에 대한 의문이 제기됩니다. 여기서 로컬 AI 챗봇의 개념이 등장합니다. ChatGPT와 같은 도구는 본질적으로 수십억 단어에 대해 훈련되고 인간과 유사한 방식으로 응답하도록 지시되는 대규모 언어 모델(LLM)입니다.
최신 컴퓨터는 특정 LLM을 완전히 로컬에서 실행할 수 있을 만큼 강력해졌습니다. 이를 통해 대화 내용은 완전히 비공개로 유지되며 인터넷에 연결되어 있지 않아도 AI 챗봇을 사용할 수 있습니다. 최신 iPhone은 Apple의 Neural Engine으로 구동되므로 기기에서 AI 모델을 더욱 효과적으로 실행할 수 있습니다. 관심 있는 분들을 위해 iPhone에 오프라인 AI 챗봇을 설치하고 실행할 수 있는 간단한 솔루션을 테스트했습니다. 이에 관련된 단계는 다음과 같습니다.
iPhone에서 Private LLM 사용하기
App Store로 이동하여 오프라인 AI 챗봇을 검색하면 몇 가지 옵션이 표시됩니다. 우리는 $5의 일회성 구매가 필요하고 Meta의 Llama, Google Gemma 및 Mistral을 포함한 다양한 LLM 제품군을 제공하는 Private LLM을 선택했습니다.
로그인이나 등록이 필요하지 않습니다. Private LLM을 시작하는 순간 사용 가능한 로컬 LLM 중 하나와 채팅을 시작할 수 있습니다. 상단의 이름을 탭하면 선택한 AI 모델에 대한 정보를 확인할 수 있습니다. 다른 모델을 보고 다운로드하려면 화면 오른쪽 상단에 있는 점 3개 아이콘을 누르고 설정 > 모델로 이동하세요.
Private LLM 블로그의 유용한 게시물은 어떤 AI 모델이 귀하의 장치에서 최적으로 작동하는지 결정하는 데 도움이 될 것입니다. 이러한 모델의 크기는 몇 기가바이트이므로 인터넷 연결 상태에 따라 시작하는 데 시간이 걸릴 수 있습니다. 원하는 LLM을 선택한 후에는 시스템 프롬프트를 무시할 수 있습니다. 이는 본질적으로 AI 모델에 해당 목적, 응답 방법 및 사전에 알고 싶은 기타 세부 사항을 지시합니다.
Private LLM의 모델과 나누는 모든 대화는 iPhone의 처리 능력에 의존하며 어떤 서버와도 정보가 교환되지 않습니다. 이를 교차 검증할 수 있습니다. 휴대폰의 Wi-Fi와 모바일 데이터를 끄기만 하면 AI 챗봇을 계속 사용할 수 있습니다.
Private LLM에서 챗봇 경험 사용자 정의
경험의 핵심은 iPhone에 다운로드하고 사용하기로 선택한 LLM에 따라 다릅니다. Private LLM의 모델 이름에는 1B, 3B 또는 8B와 같은 숫자가 표시됩니다. 이는 수십억 단위의 매개변수 수를 나타냅니다. 숫자가 높을수록 일반적으로 모델이 더 복잡한 추론과 더 나은 출력을 위해 훈련되었음을 의미합니다.
최신 iPhone은 더 높은 매개변수 개수의 AI 모델을 실행할 수 있지만 이는 출력 속도에 직접적인 영향을 미칩니다. 예를 들어, 우리는 iPhone 15 Pro Max에서 Llama 3.1 8B LLM을 테스트했는데, 1.6B 매개변수를 가진 훨씬 더 작은 StableLM 2 LLM을 사용하는 것에 비해 출력 생성이 눈에 띄게 느려졌습니다.
앱 설정에 들어가면 샘플링 온도를 0에서 1 사이의 값으로 조정할 수도 있습니다. 온도가 높을수록 출력이 더 창의적이 되며, 이는 약간의 무작위화가 가능한 친숙한 AI 챗봇을 찾고 있는 경우에 이상적입니다. 온도가 낮을수록 반응이 더욱 긴밀해지며 이는 프로그래밍이나 문제 해결과 같은 분석 작업에 선호됩니다.
다른 무료 대안이 있지만 우리는 Private LLM의 단순성과 투명성에 대해 더 많은 확신을 얻었습니다. 이 앱은 최근 iOS 26의 Liquid Glass 디자인과 일치하도록 업데이트되었습니다. 또한 일회성 구매를 통해 iPad 및 Mac에서 Private LLM을 사용할 수 있으므로 앱에서 제공하는 더욱 강력한 모델을 탐색할 수 있습니다.
