한원진님의 아티클

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”

벌써 새해 첫 달의 두 번째 주간이 밝았습니다!

작심 1주 아니시죠?!^^

모두의연구소가 전하는 “모두를 위한 SW/AI 뉴스”
모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.

1. 대규모 언어 모델의 창발적 능력에 대한 새로운 분석: 규모 이상의 요인 탐구

최근 연구는 대규모 언어 모델에 나타나는 창의적 능력에 초점을 맞춥니다.
이 능력은 소규모 모델에서는 보이지 않지만 대규모 모델에서 나타나는 급작스러운 변화로, 예측하기 어려운 특성을 가집니다.
그러나 이 연구는 모델 규모가 아닌 측정 기준의 선택에 따라 신흥 능력이 나타날 수 있다는 대안적 설명을 제시합니다.
InstructGPT/GPT-3 제품군과 BIG-Bench를 사용한 분석과 다양한 심층 네트워크에서의 새로운 메트릭 테스트를 통해 이 연구는 창의적 능력이 AI 모델 확장의 본질적 속성이 아니라는 증거를 제공합니다.
https://arxiv.org/abs/2304.15004

2. LLM은 LongLM일지 모른다 : Self-Extend으로 대규모 언어 모델의 내재된 장문 처리 능력 활용하기
최근 연구는 대규모 언어 모델(LLM)이 별도의 미세 조정 없이도 긴 문맥을 처리할 수 있는 내재된 능력을 발견하고, 이를 활용하기 위해 Self-Extend라는 새로운 방법을 제안합니다.
이 방법은 LLM의 컨텍스트 윈도우를 자체적으로 확장하며, 그룹 수준과 이웃 수준의 주의 정보를 통합하여 추가 학습 없이 구현됩니다.
실험 결과는 Self-Extend가 기존 LLM의 컨텍스트 윈도우 길이를 효과적으로 확장하는 것을 입증하며 이는 LLM의 활용 가능성을 크게 확장합니다.
https://huggingface.co/papers/2401.01325

3. 자바스크립트로 iCloud 정리하기
블로그 작성자는 200GB와 1TB 저장 공간의 비용 차이가 많이 나서 대안을 찾기 시작했습니다. 사진이 대부분의 저장 공간(약 127GB)을 차지하고 있었기 때문에 파일 크기별로 정렬하는 기능을 찾았지만
애플 사진이나 iCloud 브라우저에서 이 기능을 제공하지 않았습니다. 다른 앱들을 통해 중복 사진을 찾거나 파일 크기를 확인할 수 있지만 iCloud에 오프로드된 사진은 이러한 앱에서 나타나지 않아 완전히 유용하지는 않았습니다.
또한, 모든 사진을 앱이 스캔하는 것에 대해 우려도 있었습니다. JavaScript를 이용하여 사진을 정리해봤습니다.
https://andykong.org/blog/icloudconfusion

4. CertInfo: 어떤 루트 인증서를 신뢰해야 할까요?
방문한 웹사이트들의 인증서를 분석하는 오픈소스 프로그램 'CertInfo'를 만들었습니다.
이 프로그램은 사용자의 브라우저 기록을 분석하여 방문한 도메인들의 인증서를 조회합니다.
그 결과로 사용된 루트 인증서 목록과 사용되지 않은 루트 인증서 목록을 제공합니다.
https://raymii.org/s/software/Which_Root_Certificates_Should_You_Trust_CertInfo.html
----------------------------------------------------------------------------

Share Value, Grow Together
지식을 공유하며 함께 성장하는 모두에게 열린 연구소
모두의연구소 바로 살펴보기 : https://bit.ly/3TAJvgp

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”

[240103] 모두의연구소가 전하는 “모두를 위한 SW/AI 뉴스”
어느새 새해가 밝은지도 3일이나 지났어요

모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.


1. 구글 리서치와 구글 딥마인드가 2023년 회고
작년에는 제프 딘이 구글 리서치를 대표로 단독으로 작성했는데 이번 블로그의 경우 제프 딘, 데미스 하사비스, 제임스 마나카가 동시에 작성했습니다.
이번 블로그의 경우 제품과 기술의 발전, ML/AI 리서치, 알고리즘과 최적화, 과학과 사회, 책임감 있는 AI 개발, 향후 미래라는 세션으로 나누어서 작성되었습니다.
이번 블로그를 읽으면 2023년은 LLM의 시대였고 OpenAI라는 강력한 라이벌이 구글을 이기는 듯한 느낌을 주었지만 구글이 현재 연구하고 있는 주제는 LLM뿐만 아니라 로보틱스, 기상, 단백질 구조 등
다양한 분야에서 두각을 보이고 있다는 것이었습니다.
구글 리서치와 구글 딥마인드가 연구했던 내용을 자세히 알고 싶다면 해당 블로그를 정독해보는 것도 좋을 것 같습니다!
https://deepmind.google/discover/blog/2023-a-year-of-groundbreaking-advances-in-ai-and-computing/

2. State Space Model 기초
이번 블로그는 허깅 페이스 펠로우인 Loïck BOURDOIS이 허깅 페이스 커뮤니티 블로그에 연재한 SSM에 대한 기초 내용입니다. SSM이란 State Space Model은 동역학에서 온 개념으로 상태 변수를 통해 시스템을 모델링하는 곳에 사용합니다.
2021년에 Efficiently Modeling Long Sequences with Structured State Spaces이라는 논문이 나왔고 이는 RNN과 SSM의 결합에 대한 논문이었습니다.
이밖에도 LSSL, Mamba와 같은 논문들이 나오면서 점차 각광을 받고 있습니다.
이번에는 SSM에 대한 기초적인 내용을 보고 이 논문을 기반으로 새로운 아키텍쳐를 공부할 수 있을 것이라고 생각합니다.
https://huggingface.co/blog/lbourdois/get-on-the-ssm-train

3. PHP Attributes
PHP 8.0에서 처음 도입된 속성(Attributes)은 클래스, 메소드, 속성 등에 메타데이터를 추가하는 강력한 기능입니다.
이 메타데이터는 프로그래밍적으로 검색할 수 있어 코드를 더 깔끔하고 효율적으로 만들 수 있습니다. 하지만 런타임에는 영향을 미치지 않고, Reflection API를 통해 애플리케이션에서 사용됩니다.
이를 통해 특정 속성이 부착된 클래스, 메소드, 속성을 기반으로 작업을 실행할 수 있습니다.
https://inspector.dev/php-attributes-how-to-use-php-attributes-and-create-custom-attribute-classes-fast-tips/

4. MySQL: JavsScript 지원
MySQL은 이제 데이터베이스 내부에서 자바스크립트 저장 프로그램(함수 및 절차)을 작성할 수 있는 풍부한 절차적 프로그래밍 기능을 제공합니다.
이러한 저장 프로그램은 GraalVM 런타임으로 실행되며, MySQL Enterprise Edition의 미리 보기로 제공되어 Oracle Technology Network (OTN)을 통해 다운로드할 수 있습니다.
또한, MySQL-JavaScript는 OCI, AWS, Azure의 MySQL Heatwave 클라우드 서비스에서도 사용 가능합니다.
https://blogs.oracle.com/mysql/post/introducing-javascript-support-in-mysql
------------------------------------------------------------------------------------------

Share Value, Grow Together
지식을 공유하며 함께 성장하는 모두에게 열린 연구소
올해 새로 등록된 모두연 블로그 글을 살펴보세요~

모두의연구소 바로가기 : https://bit.ly/3TAJvgp

지난 세미나 다시 보기 공유

백엔드 개발 관련 지난 세미나 자료 공유

세미나 다시보기💙

모두의연구소 * [제주코딩베이스캠프] 강사진 총출동!

AI시대를 이끌 수 있는 백엔드 개발자가 되기 위한 로드맵 세미나 공유드려요~

https://bit.ly/3v8koHB

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”
모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.

1. Postgres의 트랜잭션 격리, 설명

데이터베이스의 중요한 부분인 트랜잭션에 대해 이야기합니다. 트랜잭션은 여러 작업을 하나의 단위로 취급하게 해줘서 개발자가 코드를 작성할 때 가정할 수 있는 보장을 제공합니다. 이로 인해 코드가 단순해지고 신뢰성이 크게 향상됩니다. 특히, 트랜잭션의 ‘격리‘는 가장 혼란스러운 부분이지만, 이를 이해하면 더 나은 설계 결정과 보안이 강화된 SaaS를 만들 수 있습니다. 이 글은 트랜잭션 격리가 해결하려는 문제와 SQL92 표준의 표준 격리 수준, 그리고 Postgres가 이러한 문제를 어떻게 다루는지 설명합니다.
https://www.thenile.dev/blog/transaction-isolation-postgres

2. Fly.io 의 쿠버네티스 도입Fly.io는 전 세계에 자체 하드웨어로 가상 머신 격리를 사용하여 컨테이너화된 애플리케이션을 실행하는 새로운 공용 클라우드를 구축하고 있습니다. 그동안 Kubernetes(K8s)를 사용하지 않았지만, 이제 K8s의 중요성을 인정하고 프로젝트에 필요한 경우를 위해 몇 달 동안 K8s 솔루션을 개발했습니다. Fly.io에 대해 망설였던 분들도 이제 시도해볼 수 있는 좋은 소식입니다.
https://fly.io/blog/fks/

3. ReAct LLM 에이전트: 복잡한 자연어 질문에 대응하기 위한 지식 기반 강화 학습 접근이 연구에서는 복잡한 자연어 질문에 대한 답변을 위한 새로운 방식으로, 지식 검색과 LLM을 결합한 시스템의 한계를 극복하기 위해 ReAct 스타일의 LLM 에이전트를 제안합니다. 이 에이전트는 외부 지식을 추론하고 행동하는 능력을 갖추고 있으며, ReST 방식과 AI 피드백을 활용한 지속적인 자기 개선과 강화 학습을 통해 개선됩니다. 이 접근법은 미세 조정된 소형 모델을 통해 구성 질문에 대한 답변에서 대형 모델과 비슷한 성능을 달성하며, 복잡한 자연어 질문에 대한 보다 효율적이고 효과적인 해결 방법을 제공합니다.
https://huggingface.co/papers/2312.10003

4.  MobileSAMv2: 고효율 객체 세그먼트와 프롬프트 기반 마스크 생성세그먼트 애니 모델(SAM)은 단일 객체 또는 이미지의 모든 객체에 대한 마스크를 예측하는 두 가지 작업을 처리합니다. SegAny는 이미지 인코더의 무거운 구조로 인해 느린 반면, SegEvery는 마스크 디코더의 병목 현상으로 인해 비효율적입니다. 이를 해결하기 위해, 본 연구에서는 객체 검색을 통한 유효한 프롬프트로 직접 최종 마스크를 생성하는 방법을 제안합니다. 이 접근 방식은 마스크 디코더의 처리 시간을 16배 이상 단축하고, LVIS 데이터 세트에서 제로 샷 오브젝트 제안에 대해 평균 3.6%의 성능 향상을 달성합니다. 이 프로젝트는 기존 SAM보다 더 빠른 SegEvery를 목표로 하며, MobileSAMv2라고 명명되었습니다. 또한, 새로운 프롬프트 샘플링 방식은 MobileSAM의 증류 이미지 인코더와 호환되어 통합 프레임워크에 기여합니다. 이 연구는 과도한 세그먼트를 피하면서도 세밀한 마스크를 생성하는 효율적인 방법을 제공합니다.
https://huggingface.co/papers/2312.09579---

K-디지털 트레이닝 훈련 기관 유일!
대통령 표창 수상한 모두의연구소의 SW/AI 교육7만 여명의 수강생 평점 4.8

제주코딩베이스캠프와 함께!
‘인공지능(AI) 모델 활용 백엔드 개발 과정’ 무료 지원하기: https://bit.ly/3SZC9Ts

모두의연구소가 전하는 “모두를 위한 SW/AI 뉴스”

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”
모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.

1. Oxlint, ESLint 보다 50~100 빠른 JS Lint

2023년 12월 12일, Oxlint가 일반 사용자를 위해 출시되었습니다. 이는 JavaScript 코드를 신속하고 효과적으로 검사하는 린터로, 복잡한 설정 없이도 사용할 수 있습니다. Oxlint는 ESLint보다 50-100배 빠르며, Shopify는 이를 통해 75분 걸리던 CI 작업을 10초로 단축했습니다. 사용법은 간단하며, ESLint 설정 파일 읽기 기능은 개발 중입니다. Oxlint는 성능, 정확성, 사용 편의성에 중점을 둔 설계로, 불필요한 규칙 없이 중요한 문제만 집중적으로 파악합니다.
https://news.hada.io/topic?id=12371

2. JFR, Java 네이티브 메모리 추적하기
DK Flight Recorder (JFR)는 자바 플랫폼의 중요한 도구로, 자바 애플리케이션의 성능 문제를 식별하는 데 도움을 줍니다. 최근 자바 20 버전에서는 Native Memory Tracking (NMT)을 지원하게 되었는데, 이는 JVM의 클래스 메타데이터, 스레드 스택 등 다양한 메모리 사용량을 상세하게 보여줍니다. 이전에는 jcmd 명령어를 통해서만 NMT 데이터를 확인할 수 있었지만, 이제 JFR을 통해 지속적으로 NMT 데이터를 기록하고, 원격 클라이언트와 모니터링 솔루션에 실시간으로 공유할 수 있게 되었습니다.
https://www.morling.dev/blog/tracking-java-native-memory-with-jdk-flight-recorder/

3. 조밀하게 캡션된 이미지(DCI) 데이터 세트를 통한 시각 언어 모델 평가
이 연구에서는 대규모 시각 언어 데이터 세트에 대한 새로운 큐레이션 방법을 소개하며, 데이터 세트 크기와 품질 사이의 균형을 찾는 데 초점을 맞춥니다. 연구팀은 이미지의 풍부한 시각적 디테일을 포착하기 위해 평균 1000단어 이상의 마스크 정렬 설명으로 사람이 직접 주석을 단 8012개의 자연 이미지를 포함하는 조밀하게 캡션된 이미지(DCI) 데이터 세트를 수집했습니다. 이 데이터 세트를 사용하여 이미지 콘텐츠에 대한 시각 언어 모델(VLM)의 이해도를 평가할 수 있으며, 캡션 길이가 제한되는 요약 버전(sDCI)도 소개합니다. 연구 결과에 따르면, 최신 기술이 표준 벤치마크에서는 진전을 보이지만, sDCI 기반 벤치마크에서는 큰 개선을 보이지 않는 것으로 나타났습니다. 또한, CLIP을 sDCI를 사용하여 미세 조정한 결과, 적은 훈련 세트에도 불구하고 기준선 대비 상당한 개선을 보였습니다. 연구팀은 이 고밀도 이미지 캡션 데이터 세트를 공개함으로써, 차세대 VLM을 위한 새로운 벤치마크 또는 미세 조정 레시피를 개발할 수 있는 기회를 제공합니다.
Paper page - A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions

4. CogAgent: 그래픽 사용자 인터페이스(GUI) 이해 및 탐색에 특화된 180억 파라미터의 시각적 언어 모델
이 논문에서는 CogAgent라는 새로운 시각적 언어 모델(VLM)을 소개합니다. 이 모델은 180억 개의 파라미터를 갖추고 있으며, 그래픽 사용자 인터페이스(GUI) 이해 및 탐색에 특화되어 있습니다. CogAgent는 저해상도 및 고해상도 이미지 인코더를 활용하여 1120*1120 해상도의 입력을 지원함으로써, 작은 페이지 요소와 텍스트를 인식할 수 있습니다.
CogAgent는 다양한 텍스트가 풍부한 벤치마크와 일반 VQA 벤치마크에서 최고 수준의 성능을 달성했습니다. 이 모델은 스크린샷만을 입력으로 사용하며, PC와 안드로이드 GUI 탐색 작업 모두에서 기존 LLM 기반 방식인 마인드2웹과 AITW보다 우수한 성능을 보여줍니다. 이는 기술 수준을 한 단계 발전시킨 것으로 평가되고 있습니다. CogAgent의 개발은 대규모 언어 모델이 GUI를 이해하고 상호 작용하는 능력을 향상시키고, 따라서 디지털 기기 사용에 대한 자동화 수준을 높일 수 있는 잠재력을 가지고 있음을 보여줍니다.
Paper page - CogAgent: A Visual Language Model for GUI Agents----------------------------------------------------------------

K-디지털 트레이닝 훈련 기관 유일!
대통령 표창 수상한 모두의연구소의 SW/AI 교육

• 1,000명이 선택한 AI학교 아이펠 ‘데이터 사이언티스트 과정’ 오늘 마감일! 무료 입학하기 : https://bit.ly/3QPTnjd
  

• 7만 여명의 수강생 평점 4.8 제주코딩베이스캠프와 함께! ‘인공지능(AI) 모델 활용 백엔드 개발 과정’ 무료 지원하기: https://bit.ly/3SZC9Ts

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”

모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.

1. 복잡성 단순화: 웹소켓에서 HTTP 스트림으로의 여정

개발 과정에서 “단순함이 복잡함을 이긴다“는 원칙을 따르며, 기본 Unix 철학을 적용해 효과적이고 간결한 솔루션을 만들었습니다. 프레임워크와 복잡한 프로토콜 대신 기본 Go 도구를 사용하여 이벤트를 직접 처리함으로써, 더 깊은 이해와 제어를 가능하게 하며, 소프트웨어 제작의 기쁨을 경험했습니다. 이는 때때로 가장 좋은 해결책이 도구의 복잡성에서가 아니라 문제를 기본 요소로 환원하고 직접 대처하는 능력에서 나온다는 것을 상기시켜 줍니다.
https://blog.owulveryck.info/2023/12/02/simplifying-complexity-the-journey-from-websockets-to-http-streams.html

2. 돌아온 Beeper MiniBeeper Mini의 업데이트가 beeper.com을 통해 제공되고 구글 플레이 스토어에서도 이용 가능합니다. 메시지 전송 문제를 수정했으며, 새 기능을 추가했습니다. 앱은 여전히 보안이 강화된 상태이며, 현재 AppleID를 통한 로그인만 지원합니다. Beeper는 무료로 제공되며, 플레이 스토어에서 좋은 리뷰를 남겨주시면 도움이 됩니다.
https://blog.beeper.com/p/beeper-mini-is-back

3. DreaMoving: 확산 기반 제어 가능 영상 생성을 통한 맞춤형 인간 댄스 영상 제작본 논문은 고품질 맞춤형 인간 댄스 영상을 제작하기 위한 확산 기반 제어 가능 영상 생성 프레임워크인 DreaMoving을 소개합니다. DreaMoving은 대상의 신원과 자세 시퀀스가 주어지면, 해당 자세 시퀀스를 따라 어디에서나 춤추는 대상의 비디오를 생성할 수 있습니다. 이 프레임워크는 모션 제어를 위한 Video ControlNet과 신원 보존을 위한 Content Guider를 포함하며, 사용자 친화적이고 다양한 양식화된 확산 모델에 적용 가능하여 다양한 결과를 생성할 수 있습니다.
Paper page - DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

4. SparQ Attention: 대규모 언어 모델의 계산 효율성 향상이 논문에서는 생성적 대형 언어 모델(LLM)의 유비쿼터스 사용을 어렵게 만드는 중요한 계산 요구 사항을 해결하기 위한 SparQ Attention이라는 기술을 소개합니다. 이 기술은 많은 수의 샘플을 처리하고 긴 컨텍스트를 사용하는 것이 모델의 메모리 통신 부하를 증가시키는 문제에 대응합니다. SparQ Attention은 캐시된 기록을 선택적으로 가져와 Attention 블록 내의 메모리 대역폭 요구 사항을 줄이고, 추론 처리량을 높입니다. 이 기술은 기존 LLM에 사전 훈련 설정이나 추가 미세 조정 없이 직접 적용할 수 있으며, Llama 2 및 Pythia 모델을 사용한 광범위한 다운스트림 작업 평가를 통해 정확도 손실 없이 주의 메모리 대역폭 요구 사항을 최대 8배까지 줄일 수 있음을 보여줍니다.
Paper page - SparQ Attention: Bandwidth-Efficient LLM Inference---

K-디지털 트레이닝 훈련 기관 유일!
대통령 표창 수상한 모두의연구소의 SW/AI 교육

• 1,000명이 선택한 AI학교 아이펠 ‘데이터 사이언티스트 과정’ 이번주 마감!! 무료 입학하기 : https://bit.ly/3QPTnjd

• 7만 여명의 수강생 평점 4.8 제주코딩베이스캠프와 함께! ‘인공지능(AI) 모델 활용 백엔드 개발 과정’ 무료 지원하기: https://bit.ly/3SZC9Ts

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”

모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.

1. 코드 리뷰 고통을 덜어주는 구글의 방법, 개발자 97% 만족도

구글의 코드 리뷰 과정과 도구인 ‘Critique’에 대해 다룹니다. 구글은 코드 리뷰를 통해 지속적인 개선을 강조하며, 코드베이스의 건강성 유지, 스타일 가이드 준수, 지식 공유, 작은 변경 유지 등의 지침을 따릅니다. Critique는 AI를 활용하여 코드 변경에 대한 자동 제안을 제공하는 등 구글 내부에서 높은 만족도를 보이는 도구입니다. 구글의 코드 리뷰 프로세스는 24시간 내의 빠른 검토, 전문성과 예의를 갖춘 피드백, 코드 리뷰를 통한 교육적 측면의 강조 등을 특징으로 합니다. 구글은 코드 리뷰가 개발자의 생산성과 동기에 미치는 영향에 대한 연구도 활발히 진행하고 있습니다.
https://engineercodex.substack.com/p/how-google-takes-the-pain-out-of2. 고품질 소프트웨어 구축하는 방법소프트웨어 프로젝트에서는 품질 보증(QA)이 중요하지만 종종 간과되곤 합니다. 많은 회사들이 QA를 무시하고, 개발 마감 시간에만 급하게 QA를 진행합니다. 이러한 방식은 소프트웨어의 질을 떨어뜨리고, 반복적인 문제를 야기합니다. 저자는 QA의 중요성을 인식하고, 이를 개선하기 위해 노력하며, 효과적인 QA 전략과 접근 방식을 제안합니다. 소프트웨어 프로젝트의 성공을 위해 QA가 필수적임을 강조하며, 이를 통해 프로젝트의 질을 향상시킬 수 있다고 말합니다.
https://www.florianbellmann.com/blog/never-taught-qa#changing-projects-for-the-better3. OneLLM: 다양한 모달리티를 통합하는 멀티모달 대규모 언어 모델다중 모달 대규모 언어 모델(MLLM)은 여러 모달리티의 이해 능력으로 주목받고 있습니다. 이 논문에서 소개된 OneLLM은 8가지 다양한 모달리티를 통합하는 새로운 MLLM입니다. 이 모델은 통합된 멀티모달 인코더와 점진적 멀티모달 정렬 파이프라인을 사용하여 언어 모델과 다양한 모달리티를 연결합니다. 이를 위해, 이미지 프로젝션 모듈, 동적 라우팅, 유니버설 프로젝션 모듈(UPM) 등이 개발되었습니다. 또한, 이미지, 오디오, 비디오, 포인트 클라우드, 깊이/노멀 맵, IMU, fMRI 뇌 활동을 포함하는 200만 개 항목의 포괄적인 멀티모달 지침 데이터 세트가 큐레이팅되었습니다. 25개의 다양한 벤치마크를 통한 평가 결과, OneLLM은 멀티모달 캡션, 질문 답변, 추론 등의 작업에서 탁월한 성능을 보여주었습니다.
Paper page - OneLLM: One Framework to Align All Modalities with Language4. 언어 모델을 활용한 코드 기반 추론 향상 연구: 코드 체인(CoC) 방법론이 보고서는 언어 모델(LM)이 코드 작성을 통해 논리적, 산술적 및 언어적 작업에 대한 추론 능력을 향상시킬 수 있다는 가설을 제시합니다. 예를 들어, LM이 “detect_sarcasm(문자열)” 함수의 구현에 어려움을 겪을 수 있지만, LM을 활용해 코드를 작성하고 인터프리터를 “에뮬레이션“하여 유효한 솔루션을 생성할 수 있습니다. 이 연구는 LM의 코드 기반 추론을 개선하기 위해 코드 체인(CoC)이라는 확장 기능을 제안합니다. CoC의 핵심은 LM이 프로그램의 언어적 하위 작업을 의사 코드로 형식화하고, 이를 LM으로 시뮬레이션하게 하는 것입니다. 실험 결과, CoC는 다양한 벤치마크에서 탁월한 성능을 보였으며, 특히 빅벤치 하드에서는 다른 기준선보다 12% 더 높은 84%의 성능을 달성했습니다. 이 방법은 대규모 및 소규모 모델에서 잘 작동하며, LM이 ‘코드로 사고‘하는 방식으로 추론 문제의 범위를 확장합니다.
Paper page - Chain of Code: Reasoning with a Language Model-Augmented Code Emulator---

K-디지털 트레이닝 훈련 기관 유일!
대통령 표창 수상한 모두의연구소의 SW/AI 교육

• 1,000명이 선택한 AI학교 아이펠 ‘데이터 사이언티스트 과정’ 마감 임박! 무료 입학하기 : https://bit.ly/3QPTnjd

• 7만 여명의 수강생 평점 4.8 제주코딩베이스캠프와 함께! ‘인공지능(AI) 모델 활용 백엔드 개발 과정’ 무료 지원하기: https://bit.ly/3SZC9Ts

모두의연구소가 전하는 “모두를 위한 SW/ 뉴스”

모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.

1. HTML의 30년 역사

30년 전, 필자는 CWRU 영화 사회의 로비에서 애플 파워북을 사용하여 HTML 문서를 처음 작성했습니다. 당시에는 HTML 태그를 대문자로 사용하고 닫지 않았으며, <P> 태그를 <BR><BR>의 단축형으로 사용했습니다. 나중에 필자는 CWRU의 웹마스터로서 웹 페이지에 툴바를 추가했고, 이 경험은 자신의 영웅인 조엘 호지슨에게 이 이야기를 전할 수 있는 기회를 가져다주었습니다.
https://meyerweb.com/eric/thoughts/2023/12/06/three-decades-of-html/

2. Apple, iMessage를 Android로 가져온 서비스 Beep Mini 액세스 차단Beeper, 안드로이드 사용자를 위해 iMessage를 역설계한 스타트업, 최근 Beeper Mini 앱에서 오류를 겪고 있습니다. 이는 Apple의 조치로 인한 것으로 보입니다. Beeper CEO 에릭 미기코프스키는 Apple이 Beeper Mini의 기능을 차단한 것 같다고 말했습니다. Beeper Mini는 안드로이드 사용자뿐만 아니라 아이폰 사용자의 보안도 강화한다고 주장했지만, Apple은 iMessage를 자사 생태계에 묶는 핵심 도구로 보고 있어 안드로이드용 앱 출시를 거부하고 있습니다. 유럽연합 규정도 iMessage의 상황을 변화시키지 못할 것으로 보입니다.
https://news.hada.io/topic?id=12257

3. Bridge-TTS: 텍스트 음성합성을 위한 효율적이고 고품질의 디퓨젼 모델텍스트 음성합성(TTS) 분야에서 디퓨젼 모델은 높은 생성 품질을 달성했습니다. 그러나 기존의 디퓨젼 기반 TTS 시스템은 노이즈 표현에 제한되어 대상 정보를 충분히 제공하지 못했습니다. 이를 개선하기 위해 새로운 TTS 시스템인 Bridge-TTS를 개발했으며, 이 시스템은 가우시안 사전을 깨끗하고 결정론적인 사전으로 대체하여 강력한 구조 정보를 제공합니다. 이 방법은 텍스트 입력에서 얻은 잠재적 표현을 사용하고, 이와 멜-스펙트로그램 사이에 슈뢰딩거 브리지를 구축하여 데이터 간 프로세스를 이끌어냅니다. 실험 결과는 이 방법이 품질과 샘플링 효율성 측면에서 우수함을 보여주며, Grad-TTS와 비교하여 훨씬 뛰어난 성능을 나타냅니다.
https://huggingface.co/papers/2312.03491

4. 재조명 가능한 가우시안 코덱 아바타리라이팅의 충실도는 지오메트리와 외형 표현 모두에 의존합니다. 본 연구에서는 고충실도 재조명 헤드 아바타를 구축하기 위한 ‘재조명 가능한 가우시안 코덱 아바타‘를 제시합니다. 이 모델은 3D 가우시안 기반의 지오메트리 모델을 사용하여 머리카락 가닥이나 모공과 같은 작은 디테일을 일관되게 캡처할 수 있습니다. 또한, 이 연구는 눈, 피부, 머리카락 등 다양한 인간 머리의 재질을 지원하는 새로운 리라이팅 가능한 외형 모델을 제안합니다. 이 모델은 구형 고조파와 구형 가우시안을 사용해 실시간 리라이팅을 구현하고, 점 조명과 연속 조명에서 효율적으로 리라이팅할 수 있습니다. 명시적 눈 모델은 눈 반사의 충실도를 개선하고 시선 제어를 가능하게 합니다. 이 방식은 테더링된 소비자 VR 헤드셋에서 아바타의 실시간 재조명을 시연하여 효율성과 충실도를 입증합니다.
https://huggingface.co/papers/2312.03704---

K-디지털 트레이닝 훈련 기관 유일!
대통령 표창 수상한 모두의연구소의 SW/AI 교육

• 1,000명이 선택한 AI학교 아이펠 ‘데이터 사이언티스트 과정’ 마감 임박! 무료 입학하기 : https://bit.ly/3QPTnjd

• 7만 여명의 수강생 평점 4.8 제주코딩베이스캠프와 함께! ‘인공지능(AI) 모델 활용 백엔드 개발 과정’ 무료 지원하기: https://bit.ly/3SZC9Ts