구글이 AI 튜터를 만드는 방법

AI 음성으로 듣기 - ElevenLabs

구글은 지난 5월 14일에 LearnLM이라는 언어 모델을 발표했다. LearnLM은 제미나이 1.0을 교육 목적으로 파인튜닝한 모델이다. 구글 딥마인드 연구팀은 LearnLM을 소개하면서 아카이브(arXiv)에 연구 보고서도 함께 발표했다. 이 연구 보고서는 AI를 실질적으로 쓸 만한 AI 튜터로 만들기 위해서 반드시 먼저 정의하고 해결해야 하는 문제들을 체계적으로 분류하고 정리한 결과물이다.

구체적으로 보면, 구글 딥마인드 팀은 AI 튜터의 효과성을 검증하는 평가 프레임워크를 개발했고(7개의 벤치마크 포함), 안전성 프로토콜과 윤리적 가이드라인을 수립했고 무엇보다 제미나이 1.0 베이스 모델보다 교육학적으로 더 나은 언어 모델로 개발했다. 개발 과정에서 AI가 만든 데이터에서부터 교육 전문가가 직접 만든 데이터까지 다양한 레벨의 데이터셋을 만들어 학습시켰고 각각의 응답 및 대화에 대해서 실제 교육자 및 학생의 피드백도 반영했다. 그리고 이를 실제 교육 환경(애리조나 주립 대학교)에 적용해 효과성을 입증했다.

연구의 한계도 명확하게 보고서에 적시했다. 텍스트 기반 상호작용으로 제한되었고 강화학습(RL) 단계는 시행하지 못했다는 기술적 한계부터, 여전히 평가의 신뢰성 확보에 대한 어려움과 장기적 실용성을 검증하지 못했다는 점 등을 한계로 제시했다. 다문화 지원 확대와 문화적 다양성 을 고려한 개선사항 등의 향후 과제도 보고서에 남겼다.

최근 연구 책임자인 아이리나 주렌카(Irina Jurenka)가 구글 딥마인드 팟캐스트에 출연해서 LearnLM 개발 과정과 연구 보고서에 관해서 설명했다. 이 연구는 AI를 교육에 활용하기 위한 첫걸음에 불과하고 이제서야 연구해야 할 범위와 깊이를 확인한 정도의 성과로 봐 주면 좋겠다고 했다.

나는 개인적으로 8월 28일 제미나이 어드밴스드 업데이트 직후에 LearnLM을 직접 써 보면서 놀라움을 금치 못했다. 챗GPT나 다른 어떤 언어 모델보다도 학습에 맞춤화 된 대화가 가능했다. 이 정도라면 정말 학생들에게도 유용하리라는 생각이 들었다. 하지만 이 정도의 완성도에도 불구하고 제미나이는 현재 18세 이상으로 사용이 제한되어 있다. 보고서에 언급된 학생 피드백도 모두 애리조나 주립 대학교 학생들의 피드백이다. 구글이 얼마나 신중하게 AI튜터에 접근하고 있는지 보여주는 대목이다.

구글이 교육 분야에 투자해 온 것은 이미 15년이 넘었다. LearnLM을 사용해 보면서 얼마나 많은 연구자와 개발자가 이 프로젝트에 참여했을지 궁금했는데 이 보고서를 통해 구글 딥마인드가 교육용 LLM 파인튜닝을 위해 얼마나 많은 연구 역량을 투입했는지 알 수 있었다. 에듀테크 업계에 있는 사람들과 에듀테크에 관심이 있는 사람이라면 꼭 읽어 보시길 추천한다.

LearnLM은 제미나이 챗봇에서 Learning coach라는 젬(Gem)으로 사용해 볼 수 있다. 유튜브에서도 일부 교육용 영상에 적용되어 있다고 한다. 추후에는 구글 검색의 'AI 개요'에도 들어갈 것이라고 한다.

AI 사이트를 이용해서 유정과의 만남을 영어 그림책으로 만들어 보았어요! 📚✨

지난 2023년 크리스마스에 StoryBird라는 사이트를 이용해서 유정과의 만남을 그림책으로 만들어 보았어요. 🎄🎨

이 사이트는 이야기의 줄거리만 넣으면 그림책으로 완성해 주는데요. 제가 특히 마음에 드는 건 영어 내레이터 음성입니다. Sir Richard라는 내레이터가 나지막이 이야기를 읽어주는 것을 듣고 있자니 정말로 할아버지의 옛날 이야기를 듣는 것처럼 마음이 편안해 지네요! 🎶

한국어로도 제작이 가능하지만 오디오 내레이션까지 입힐 수 있는지는 확인을 못했습니다🤔.

그러고 보니 유정과 벚꽃 나리는 서울 거리에서 처음으로 손 잡고 걸었던 것이 9년 전 이맘때네요~ 🌸💑

아래 링크를 누르면 그림책을 감상하실 수 있어요! 🌟


Melodies of the Soul - StoryBird

2024년 겨울방학 업그레이드 기록

1. 집안 환경 개선

1) 업그레이드 내역

  • 집안 공간 재배치
    • 벙커방을 옷방으로, 옷방을 서재방으로, 거실을 육아 공간으로, 베란다를 휴식 공간으로 변경
    • 책꽂이, 트롤리, 바구니 장만
    • 육아 용품 개시 및 배치
    • AI 스피커 방마다 배치
    • 작업용 책상 케이블 정리
  • 수리
    • 꺄페(자동차) 수리
    • 싱크대 수전 교체
  • 스마트홈 구축
    • AI 스피커(애플 홈팟 미니, 구글 홈 미니, 네이버 클로바, 아마존 에코 3종) 총 집합
    • LG 가전, 나비엔 스마트, 구글 캘린더 연동
    • 애플 뮤직 가입, 팟캐스트, Audible, 멀티룸 오디오 설정
  • 가전제품 점자 라벨링
    • 모든 LG전자 가전에 점자 스티커 설치
    • 가습기, 재습기, 온도조절기, 인덕션, 네이버 클로바에 점자 스티커 설치

2) 기대 효과

  • 공간 재배치로 육아 준비 및 방별 용도 명확화
  • 자동차 및 수전 수리로 안전성 확보
  • 스마트홈 기능을 통한 편의 및 만족감 증대
  • 점자 스티커를 통한 가전 접근성 및 활용도 제고

2. 소프트웨어 및 하드웨어 업그레이드

1) 업그레이드 내역

  • 소프트웨어 OS 업데이트
    • 학교 업무용 데스크톱과 노트북 윈도우 11 업데이트
    • 한소네 6 OS 업데이트
  • 기기 수리 및 구입
    • 레오폴드 키보드, 브래들리 타임피스 수리
    • 샥즈 골전도 이어폰 구입

2) 기대 효과

  • 최신 OS 및 소프트웨어를 통한 보안성 및 효율성 향상
  • 기기 수리를 통해 예산 절감, 작업 효율 및 만족감 고취
  • 심리스한 업무 및 수업 경험 제공

3. 새로운 애플리케이션 사용

1) 업그레이드 내역

  • 일정 관리 및 메신저 앱
    • 가족, 장교조 임원 간 일정 공유에 Google Calendar 사용 시작
    • 활동지원사와 연락에 Whatsapp 사용 시작
  • 스크린 리더, 점자 디스플레이, TTS
    • 윈도우 내레이터 사용 시작
    • 한소네 6의 각종 안드로이드 앱 사용 시작
    • 한소네 U2 및 한소네 6의 점자 디스플레이 블루투스 설정
    • Edge, Speechify 활용 범위 확대
  • 대화형 AI
    • 코파일럿 등 윈도우 11 기능 사용 시작
    • Gemini, Perplexity 가입

2) 기대 효과

  • 가족, 장교조 집행부, 활동지원사와의 커뮤니케이션 향상
  • 보조기기 및 소프트웨어 활용 범위 확대로 접근성 및 생산성 향상
  • 대화형 AI를 통한 맞춤형 정보 파악 및 일상 및 업무의 효율성 강화

4. 개인적 변화

1) 업그레이드 내역

  • 글 정리 및 업로드
    • 컴퓨터에 저장했던 텍스트 파일 550개 정리
    • Posthaven에 정리된 글 업로드 시작
  • 헤어 스타일
    • 생애 처음으로 펌하기
    • 펌 종류는 쉐도우 펌이라고 함

2) 기대 효과

  • 글 정리를 통한 지식 체계화
  • 외모 변화를 통한 자신감 및 관리 용이성 향상

Special Thanks

  • 집안 공간 재배치에 큰 도움을 주신 양가 부모님께 정말 감사드립니다.
  • 꺄페 수리를 해주신 길동 월드모터스 사장님과 수전 교체를 직접 해주신 길동 인아웃디자인 사장님께 감사드립니다.
  • LG가전 및 집안 모든 가전에 점자 라벨링 작업을 정성스럽게 해주신 LG전자 박세라 선임 연구원님과 이지연님, 강동서비스센터 기사님께 감사드립니다.
  • 한소네 6 점검 및 업그레이드, 레오폴드 수리, 브래들리 타임피스 수리를 도와주신 각 업체 고객서비스 담당자님, 감사합니다.
  • 유모차, 책꽂이, 구글 홈 미니 등 유용한 육아 용품과 물건들을 저렴하게 당근 거래해 주신 분들께 감사드립니다.
  • 생애 첫 펌을 멋지게 해주신 길동 고우헤어 미용실 미용사님들, 감사드립니다.
  • 우리 부부에게 꼭 필요한 육아 용품들을 정성스럽게 골라 선물해 주신 소중한 친구, 동료, 가족들께 진심으로, 진심으로 감사드립니다.
  • 마지막으로, 임신 중에 몸이 무거운데도 늘 부지런하게 집안을 정리하고 꼼꼼하게 출산과 육아 준비하는 유정, 고마워요. 많이많이 사랑해요~ 🤰💕

가상 자원봉사자 추가한 비마이아이즈, 챗GPT와 챗봇에 베팅하며 접근성 소프트웨어를 새롭게 정의하다 - 포브스 [전문 번역]

2023년 3월 14일, 오픈AI가 GPT-4를 발표했습니다. 이번 버전이 기존의 GPT 시리즈와 가장 차별화되는 지점 중 하나는 이미지를 인식할 수 있게 되었다는 것입니다. 오픈AI는 발표에서 새로운 이미지 인식 기술을 비마이아이즈(Be My Eyes)에 적용했다고 밝혔습니다.

비마이아이즈는 시각장애인 및 저시력인들을 온라인에서 실시간으로 자원봉사자와 연결해주는 앱입니다. 비마이아이즈는 오픈AI와의 협업으로 가상 자원봉사자(Virtual Volunteer)를 두게 되었습니다. 시각장애인 사용자들은 바로 비마이아이즈 앱에서 가상 자원봉사자 베타 서비스를 신청할 수 있습니다.

시연 영상을 보면 시각장애인 사용자가 앱에서 바로 사진을 찍거나 업로드한 후에 그 이미지에 관해 챗GPT와 채팅을 하며 이미지에 대한 정보를 얻는 것을 알 수 있습니다. 원래 비마이아이즈가 자원봉사자와 실시간 연결해서 영상으로 도움을 받는 서비스라는 것과 비교하면 이번 가상 자원봉사자 기능은 정지된 이미지에 대해서 정보를 얻는다는 점에서 채팅이 가능한 설리번 앱에 가깝다고 볼 수 있습니다.

이와 관련해서 포브스(Forbes)에 실린 인터뷰 기사를 번역했습니다. 기사를 기고한 스티븐 아퀴노(Steven Aquino)는 샌프란시스코에 거주하는 프리랜서 기술 저널리스트로 접근성 및 보조 기술을 주로 다룹니다. 이 기사에는 비마이아이즈가 어떻게 오픈AI와 협업하게 됐는지 배경 설명이 상세하게 나옵니다.

--------------------


가상 자원봉사자 추가한 비마이아이즈, 챗GPT와 챗봇에 베팅하며 접근성 소프트웨어를 새롭게 정의하다 - 포브스 [전문 번역]

스티븐 아퀴노(Steven Aquino) 기고

2023년 3월 20일, 오후 05:12


비마이아이즈가 새로운 ChatGPT 기반 가상 자원봉사자 기능을 발표했습니다. BE MY EYES


이번 달 초에 마이크로소프트의 제니 레이-플러리(Jenny Lay-Flurrie)와 앉아 이야기를 나눌 때 인공지능이 향상된 챗봇이 보조 기술(assistive technology)로서 어떤 잠재력이 있는가가 뜨거운 화두였습니다. 그녀는 자폐증과 ADHD를 가진 십대 딸이 최근 학교가 왜 수어 수업을 제공해야 하는가에 대한 에세이를 쓰는 과정에서 챗GPT 기반의 새로운 Bing 검색엔진이 어떻게 도움이 되었는지 개인적인 경험담을 들려주었습니다. 플러리는 이러한 챗봇들이 운동과 인지의 부하로 인한 마찰점을 줄여줄 수 있다고 말했습니다. 특히 신경 발달이 남들과 다른(neurodivergent) 사람들에게는, 기존의 자료를 조사하는 방법이 다루기 어렵고 부담스러울 수 있기 때문입니다.

“[AI 챗봇들은] 아주 빠르게 상당량의 정보를 수집해주죠. 많은 시간을 절약할 수 있어요.” 플러리는 장애인들의 접근성을 변화시킬 챗봇의 잠재력에 관해 이야기하면서 말했습니다. 운동성 측면에서 생각해보면, 10개에서 20개의 다른 검색을 수행하고 여러 웹사이트를 방문하는 대신 몇 번의 클릭으로 손끝에서 필요한 정보를 얻을 수 있게 됐어요. 원하는 게 바로 나타나죠. 이것은 특히 신경 다양성에 큰 영향을 미칠 거예요... 저는 난독증과 통합운동장애(dyspraxia)를 생각하고 있어요. 학습 과정이 필요하죠. 확실히 우리는 써 보면서 배우고 있고, 이러한 도구에서 최선을 얻는 방법을 배우고 있어요. 파급력이 크다고 생각해요.”

당연히 플러리만 그렇게 흥분한 것은 아닙니다. 비마이아이즈도 매우 흥분하고 있습니다. 지난주에 게시된 블로그 글에서 비마이아이즈는 가상 자원봉사자(Virtual Volunteer)라는 새로운 기능을 소개하는 것에 “매우 기쁘다”고 밝혔습니다. 이해를 돕기 위해 소개하자면, 비마이아이즈는 시각장애인 및 저시력인을 시력이 있는 자원봉사자와 연결하는 서비스(iOS 및 Android에서 사용 가능)입니다. 자원봉사자는 우유 팩의 유통 기한과 같은 물리적 라벨을 해독하는 데 도움을 줍니다. 이 애플리케이션은 2021년 WWDC에서 사회적 영향 부문의 애플 디자인상을 받았습니다. 비마이아이즈는 전 세계적으로 150개 국가에 걸쳐 180개 언어를 사용하는 630만 명 이상의 자원봉사자를 자랑합니다.

비마이아이즈의 정신에 충실한 가상 자원봉사자는 사람 자원봉사자와도 개념적으로 매우 유사합니다. 차이점은 인공지능이 실시간으로 제공할 수 있는 정보의 폭과 깊이입니다. 요리 레시피를 예로 들 수 있습니다. 가상 자원봉사자는 소위 “동적” 이미지-투-텍스트 생성기를 통해 작동하는데 사용자가 소프트웨어에 이미지를 입력하면 즉시 그 결과를 얻는 식입니다. 비마이아이즈는 이 발표에서 이 도구가 사람들이 “물리적 환경을 더 잘 탐색하고, 일상적인 필요를 해결하고, 더 많은 독립성을 확보할 수 있는 강력하고 새로운 자원”을 제공한다는 점에서 “혁신적(transformative)”이라고 믿는다고 밝혔습니다.

지난주 말에 실시한 화상 회의 인터뷰에서, 비마이아이즈의 의장 겸 최고경영자인 마이크 버클리(Mike Buckley)는 이 기능을 도입하게 된 계기가 두 가지라고 설명했습니다. 첫째, 회사가 사용자들이 왜 전화를 거는 것을 꺼리는지 알아보기 위해 설문을 진행했는데 버클리의 표현을 빌리자면 가장 큰 이유가 “사려 깊음” 때문이었다는 것입니다. 즉, 사람들이 봉사자의 시간을 “도움이 더 필요한” 사람으로부터 빼앗고 싶어 하지 않는다는 것입니다. 다른 이유로는 전화로 낯선 사람과 대화하는 것에 대한 불편함(가상 자원봉사자의 존재 이유를 설명해주는 대목)과 전화 통화가 자율성과 독립성에 대한 기분을 저해할 수 있다는 점이었습니다.

둘째, 버클리에 따르면, 가상 자원봉사자를 도입하게 된 또 다른 계기는 오픈AI와 나눈 GPT-4 기술에 대한 대화였습니다. 두 회사 간의 대화는 최근인 1월에 시작되었습니다. 처음에는 일반적인 성격의 논의가 이루어졌고, 플러리가 저에게 AI 챗봇에 대한 마이크로소프트의 견해에 대해 공유했던 것과 비슷한 맥락이었습니다. 그러다가 2월에 버클리는 오픈AI가 당시 발표되지 않은 챗GPT의 새 버전에 대해 비밀이 있다며 비마이아이즈를 찾아왔다고 말했습니다. 비공개 계약은 없었으며, 오픈AI는 접근성 맥락에서 엄청난 가능성을 가질 수 있는 새로운 기술에 대한 비밀을 비마이아이즈를 믿고 맡겼다는 것입니다.

“그들[오픈AI]은 우리에게 데모를 보여주며 ‘함께 작업하고 제품의 베타 테스터 그룹을 구성할 의향이 있느냐’고 물었어요.” 버클리는 비마이아이즈가 OpenAI와 파트너십을 맺게 된 계기에 대해 이렇게 말했습니다. “그래서 우리는 ‘정말 흥미진진하게 들리네요. 안전성에 관해 이야기해 주세요. 제품의 효능에 관해 이야기해 주세요, 우리 커뮤니티 구성원들이 이 제품을 개발하고 피드백을 주고 개선하는 데 참여할 수 있도록 보장해 주시겠습니까?’라고 물었죠. 그들은 ‘예’라고 대답했습니다.”

그는 계속했습니다. “우리는 그들[OpenAI]이 이러한 문제들에 대해 정말로 신중하게 생각하고, 안전과 사회를 우선적으로 고려하는 모델로 접근한다고 믿습니다. 그래서 그들과 함께 일하기가 아주 수월했죠. 글쎄요, 이 제품[가상 자원봉사자)을 만드는 건 대략 5주 반 정도의 단거리 경주였습니다. 출발선에서 보면 우리는 2월 첫째 주에 작업을 시작했던 것 같아요. 솔직히 말해서, 그들과 함께 일하는 건 정말로 좋았습니다. 그 일은 실제로 일어났으니까요.”

다른 많은 앱처럼, 비마이아이즈는 iOS에서 먼저 가상 자원봉사자를 출시하기로 결정했습니다. 이 회사의 최고기술책임자(CTO)인 예스퍼 헨릭센(Jesper Henriksen)은 이 선택이 매우 의도적이라고 말했습니다. 버클리와 동시에 진행된 인터뷰에서 헨릭센은 이러한 결정의 큰 이유 중 하나로 아이폰 내부의 강력한 칩과 아이폰의 보편성을 들었습니다. 또한 비마이아이즈는 작은 조직이며, 따라서 팀이 처음부터 자원을 집중하는 것이 중요하다고 말했습니다. 대체로, 헨릭센은 애플이 iOS와 macOS를 최대한 접근 가능하게 만드는 데 “소프트웨어 측면에서” 꾸준한 헌신을 보여준다는 점에서 칭찬해주어야 한다고 말했습니다. 그는 안드로이드도 개선되고 있다고 덧붙였지만, 보조 기술 분야에서 애플이 역사적으로 “업계 나머지 회사들보다 꽤 오랫동안 앞서 있다”고 명확하게 말했습니다.

버클리는 가상 자원봉사자의 출현이 중요한 순간이라고 생각하고 있습니다.

“우리 커뮤니티에서 이 정도의 흥분을 본 적이 없는 것 같아요.”라고 그는 말했습니다. “과거 어느 때보다도, 아마도 아이폰이 출시되었을 때였을 겁니다. 커뮤니티는 이 새로운 접근성 기능이 아이폰과 비슷하거나 적어도 그에 필적하는 기능이라는 사실에 매우 흥분한 것 같습니다. 흥분이기도 하고, 낙관주의이며, 희망이기도 하죠.”

피드백 면에서 지금까지 가장 초기 단계임에도 가상 자원봉사자는 큰 성공을 거두었습니다. 버클리는 가상 자원봉사자가 발표된 후 처음 48시간 동안 “4000명 이상”의 시각 장애인과 저시력인이 서비스에 가입했다고 말했습니다. 헨릭센은 가상 자원봉사자를 사용하여 집안에서 애완용 카나리아의 위치를 찾아 새장에 다시 넣을 수 있도록 도와준 한 가족의 이야기를 공유했습니다. 이 사례는 이 기능의 유용성을 보여주는 예외적인 사례이긴 하지만, 그럼에도 “이 기술이 어디로 갈지”를 예측할 수 있는 좋은 예시라고 헨릭센은 말했습니다.

버클리는 기술의 미래는 커뮤니티와 관련된 것이라고 말했습니다.

“우리는 시각장애인과 저시력인이 기술 개발의 모든 단계와 제품 구축에 참여하기를 바랍니다.” 버클리가 말했습니다. “우리가 내부적으로 이야기하고 거의 매일 하는 말이지만, 우리는 시각장애인과 저시력인이 자신의 필요에 맞게 이 기술을 활용할 수 있도록 힘을 실어주고 싶습니다. 그렇게 커뮤니티에 힘을 실어주면 장기적인 비즈니스 모델도 찾아낼 수 있을 것입니다.”

실제 제품 로드맵에 대해 버클리는 비마이아이즈 팀이 생각하고 있는 것이 많으며 그 가능성은 매우 흥미진진하다고 말했습니다. 가상 자원봉사자가 온라인 쇼핑이나 여행과 같은 서비스를 더욱 접근하기 쉽고 포용적으로 만들 수 있다고 믿고 있습니다. 또한 몇 주 안에 초기 기업 베타 테스터를 발표할 예정이라고 귀띔했습니다. 이 말들과 함께 버클리는 AI 챗봇에 대한 끊임없는 과대광고와 디스토피아적 사고의 홍수에 대해 “매우 조심스럽다”는 입장을 밝히며 AI 챗봇이라는 카테고리에 대한 흥분을 재빨리 누그러뜨리기도 했습니다. 그럼에도 그는 가상 자원봉사자를 통해 장애인을 위해 긍정적인 방식으로 게임의 판도를 바꿀 수 있는 챗GPT의 능력을 굳게 믿고 있었습니다. 그는 가상 자원봉사자의 잠재적 영향력에 대해 “전 세계적으로 접근성을 혁신할 수 있다고 믿습니다.”라고 말했습니다.

그러한 감정은 비마이아이즈의 지향점(North Star)과 완벽하게 일치합니다.

버클리는 “2억 5천만 명의 사람들에게 세상을 더 접근 가능하게 만들고 그들을 지원하는 것이 우리의 가장 중요한 목표예요.”라고 말했습니다.