AMS · ACCIDENT CHART BENCHMARK

Benchmark progress
Sep – Nov 2026

From dashcam video to the right KNIA fault chart: what we tried, what we measured, what we learned. Status as of 19 Nov 2026.

English

Slides 2–14

Tiếng Việt

Slide 15–27

한국어

슬라이드 28–40

Each language section follows the same timeline. New progress is added as new rows and slides at the end of each section.

ENGLISH

What this update covers

Goal: the correct KNIA chart in the Top-5 suggestions for 80% of cases (27 of 33), so a reviewer picks from a short list.

01 Timeline

02 Two approaches

03 Data and test set

04 Gemini results

05 Key insights

06 Measured video signals

07 On-premise Qwen

08 Why Qwen is behind

09 Fine-tune data

10 First fine-tune results

11 Review UI/UX proposal

12 Next steps

01 · TIMELINE

From a 1,080-video baseline to on-premise Qwen

WhenWhat we didResult
Sep 2026First large run: Gemini 3.7 on 1,080 labelled videosTop-5 45.7%, Top-1 24.5%
17 SepDashcam motion prompts; repeats at temperature 0Same video, different stories
13 NovFixed 33-case test set; old vs new approachTop-5: new 18, old 15
15–16 NovPrompt, reasoning, re-rank variants; Qwen, Kimi, GemmaNone beat Gemini 3.7
16–17 NovMeasured signals: optical flow, YOLOX + ByteTrack, xADASBest Top-5 20/33 (61%)
18 NovQwen self-hosted on Colab; fine-tune data startedQwen 27B Top-5 11/33
19 NovFirst fine-tune: Qwen3-VL-8B LoRA on 4,415 AI-Hub human labelsOther-vehicle manoeuvre 20% → 53%
NextBenchmark both fine-tunes on the 33 cases; fix Qwen ranker; held-out check[to be added]

Top-k = the correct chart is among the first k suggestions. Fixed test set = 33 human-validated cases.

02 · TWO APPROACHES

We now focus on video summary + LLM ranking

EARLIER

Question series + KNIA decision tree

  • A vision model answers fixed questions on frames (motion, lane, signal)
  • Answers walk the KNIA rule tree to a chart and base ratio
  • One wrong answer breaks the path; many model calls per case

NEW · CURRENT FOCUS

Video summary + LLM chooses the chart

  • A video model writes one structured accident summary
  • An LLM ranks all 108 charts directly from the raw catalogue
  • Returns a Top-10 list for a human reviewer

18 vs 15

Top-5 on the same 33 videos (13 Nov): new vs old

132 vs 442

Model calls for 33 cases: new vs old

$0.97 vs $1.41

Cost per 33-case run: new vs old

03 · DATA AND TEST SET

55 human-validated cases; 33 used to keep runs cheap

55

Cases validated by human checkers: 11 charts × 5 videos

33

Main benchmark set: 3 videos per chart, fixed seed, every run

22

Held out, untouched: final check once a setup is chosen

Catalogue the model ranks

All 108 KNIA charts (124 documents, 38 chart families) go into every ranking request. Labels never enter the model input.

How a run is scored

Top-1/3/5/10 against the checkers’ chart. Summaries are also scored against 24 written checker descriptions.

A Gemini run on the 33 cases costs about $1.3–1.4, so most changes can be measured the same day.

04 · GEMINI 3.7 FLASH RESULTS (13–17 NOV)

Best single run: Top-5 20/33 — target is 27

Run (33 cases)Top-1Top-3Top-5Top-10
Baseline prompt v69151923
v20, run 16121925
v20, run 2 (same setup)11131723
v22 catalogue vocabulary10151823
v22 + family-first ranker9162023
Target27

61%

Best Top-5 in one run (20/33)

76%

Correct chart family among the first five families (25/33)

Gemini 3.8 Flash cost about twice as much per case and was not more accurate (Top-5 15–16).

05 · KEY INSIGHTS

The model can read most cases — just not consistently

RUN-TO-RUN VARIANCE

Bigger than any change we tried

Two identical runs gave Top-1 of 6 and 11. Taking each case’s best rank over 14 runs, Top-5 reaches 29/33 (88%).

THE SUMMARY IS THE BOTTLENECK

Not the chart ranker

When the summary matched the checker’s description, the right chart was Top-1 in 6 of 8 cases; when it was wrong, in 1 of 16.

TYPICAL READING ERRORS

What the video model gets wrong

Rear camera read as front; the camera car’s own move (U-turn vs left turn); contact denied; red light or lane arrows missed.

Implication: improve how the video is read, and reduce variance, before tuning the ranker further.

06 · MEASURED VIDEO SIGNALS (CODE, NO LLM)

Code-measured facts help the model read video

OPTICAL FLOW

Camera car motion

Turns, stops and sharp braking per jolt, given as facts in the prompt for all 33 videos.

YOLOX + BYTETRACK + xADAS

The other vehicle

One measured event (cut-in, crossing, closing in) with its time window, for front cameras.

NEW · 18 NOV

Front or rear camera

Optical-flow focus of expansion: 30/33 right, 0 wrong, all 6 rear cameras found; 0 confident errors on 36 new videos.

62% vs 12%

Qwen reads the other vehicle’s move correctly with vs without the measured vehicle event

87% vs 29%

Same comparison for Gemini

Groups differ (no-event videos include all rear cameras), but the gap is large.

07 · ON-PREMISE QWEN (SELF-HOSTED ON COLAB, 18 NOV)

Qwen sizes under test before fine-tuning

ModelGPUStatusResult on the 33 cases
Qwen3-VL-8BA100 40 GBStopped early19 of 48 cases invalid (ranker repeats charts)
Qwen3.8-27B FP8G4 96 GBMeasuredTop-5 10–11 per run; 17 best of 3 runs
Qwen2-VL-7B DriveLML4 24 GBDroppedContext too small (32k); built for single-image QA
Qwen3-VL-8B + LoRAA100 40 GBRunning[results pending]
Gemini 3.7 FlashAPIReferenceTop-5 20

1 command

Colab run: VM downloads videos from Drive, serves the model with vLLM, runs, then shuts down

~10 CU/h

G4 compute units per hour; about 46 units used on 18 Nov

08 · WHY QWEN IS BEHIND

Both steps weaker; more thinking doesn’t help

20 → 10

Top-5 with Gemini’s summaries, when Qwen ranks instead of Gemini

2 vs 6

Summaries matching the checker’s story (of 24): Qwen vs Gemini

8 vs 17

Videos told the same way in two runs (of 33): Qwen vs Gemini

Ranker

Repeats charts or stops mid-list in 2–6 cases per run. With thinking it ran 5–10 minutes per case and scored lower.

Summary

Misreads the other vehicle and denies contact. Telling it the camera faces rearward fixed the camera view (0/5 → 5/5) but not the story.

09 · FINE-TUNE DATA FOR QWEN

1,011 videos summarised by a stronger model

1 · SOURCE

KB sheet: 2,968 labelled videos, 30 charts. 1,011 pass all checks after removing the 55 test cases.

2 · SUMMARY

GPT-6.1 (sol) reads up to 60 frames per video, with the adjuster’s note as an unverified hint.

3 · FILTER

Keep the summary only if ranking it puts the labelled chart in the Top-3 (up to 3 tries).

4 · TRAIN

Video → summary pairs to fine-tune Qwen’s summary step (LoRA).

819

Videos processed by 19 Nov; 192 wait for the Drive download quota

83%

Accepted: labelled chart in Top-3 (677 of 819)

611 / 63

Train / validation samples for the GPT-summary LoRA (training on 19 Nov)

Caveat: GPT saw the adjuster’s note as a hint, and the note alone reaches Top-5 30/33. Summaries will be regenerated from frames only.

10 · FIRST FINE-TUNE (19 NOV)

Qwen3-VL-8B trained on 4,415 human labels

LoRA on AI-Hub accident clips with Label Studio facts (manoeuvres, how the cars met, crash time). Scored on the AI-Hub validation split; margin about ±12 pts.

FieldMajorityBase 8BTuned
How the cars met33%37%70%
Other vehicle’s manoeuvre24%20%53%
Location55%57%78%
Crash time, mean error1.19 s1.06 s0.35 s
Ego manoeuvre48%50%58%
Who entered first (n=24)40%38%21%

71%

Top-5 ceiling with perfect perception: Gemini ranker on human facts (149 clips)

Running

Benchmark on the 33 cases with prompt v22, and a second LoRA trained on the GPT summaries

Not yet measured on KB videos. Every training clip is an accident, so detecting “no contact” is untested.

11 · REVIEW UI/UX — PROPOSAL

A new review screen, human in the loop

Built for the new approach, not the old question-tree UI. The goal is a faster, confident chart decision.

1 · VIDEO + SUMMARY

Key facts up front: camera view, each car’s move, signal, contact — with timestamps to jump to.

2 · TOP-5 FAMILIES

Suggestions grouped by chart family; open a family to compare its variants side by side.

3 · DECIDE

Reviewer confirms, picks another variant, or corrects a fact and re-ranks.

4 · LEARN

Every correction is saved as labelled data for the next fine-tune.

76%

Today the correct family is already among the first five families shown

5

Groups to scan instead of a flat Top-10 list

12 · NEXT STEPS

Priorities for the coming weeks

1 · Fine-tune Qwen’s summary

Pilot on AI-Hub labels done; LoRA on the GPT summaries training; benchmark both on the 33 cases.

2 · Fix the Qwen ranker

Choose the family first, then the chart; only valid, unique chart IDs.

3 · Better video inputs

Rear-camera vehicle tracking, 720p video, crash-sound timing.

4 · Held-out check

Run the 22 untouched cases once a setup is chosen.

5 · Expert review of hard cases

4 cases never reached the Top-10 in any run; confirm labels.

6 · Pilot the review UI

Measure time per decision with real reviewers.

TIẾNG VIỆT

Nội dung cập nhật

Mục tiêu: chart KNIA đúng nằm trong Top-5 gợi ý ở 80% số case (27/33), để người duyệt chỉ cần chọn trong danh sách ngắn.

01 Dòng thời gian

02 Hai hướng tiếp cận

03 Dữ liệu và tập test

04 Kết quả Gemini

05 Insight chính

06 Tín hiệu đo từ video

07 Qwen on-premise

08 Vì sao Qwen còn yếu

09 Dữ liệu fine-tune

10 Kết quả fine-tune đầu tiên

11 Đề xuất UI/UX duyệt

12 Bước tiếp theo

01 · DÒNG THỜI GIAN

Từ mốc 1.080 video đến Qwen on-premise

Thời gianĐã làmKết quả
09/2026Lượt chạy lớn đầu tiên: Gemini 3.7 trên 1.080 video có nhãnTop-5 45,7%, Top-1 24,5%
17/09Nghiên cứu prompt chuyển động; lặp lại ở temperature 0Cùng video, mỗi lần kể khác
13/11Chốt tập test 33 case; so hướng cũ và hướng mớiTop-5: mới 18, cũ 15
15–16/11Thử prompt, suy luận, xếp hạng lại; Qwen, Kimi, GemmaKhông model nào hơn Gemini 3.7
16–17/11Tín hiệu đo: optical flow, YOLOX + ByteTrack, xADASTop-5 tốt nhất 20/33 (61%)
18/11Tự host Qwen trên Colab; bắt đầu tạo dữ liệu fine-tuneQwen 27B Top-5 11/33
19/11Fine-tune đầu tiên: Qwen3-VL-8B LoRA trên 4.415 nhãn AI-Hub của ngườiĐộng tác xe kia 20% → 53%
Tiếp theoBenchmark hai bản fine-tune trên 33 case; sửa bước xếp hạng; test tập giữ riêng[bổ sung sau]

Top-k = chart đúng nằm trong k gợi ý đầu tiên. Tập test cố định = 33 case đã được người kiểm tra xác nhận.

02 · HAI HƯỚNG TIẾP CẬN

Tập trung vào tóm tắt video + LLM chọn chart

HƯỚNG CŨ

Chuỗi câu hỏi + cây quyết định KNIA

  • Model thị giác trả lời bộ câu hỏi cố định trên khung hình (chuyển động, làn, đèn)
  • Câu trả lời đi theo cây luật KNIA ra chart và tỷ lệ lỗi
  • Sai một câu là lệch cả nhánh; nhiều lần gọi model mỗi case

HƯỚNG MỚI · ĐANG TẬP TRUNG

Tóm tắt video + LLM chọn chart

  • Model video viết một bản tóm tắt tai nạn có cấu trúc
  • LLM xếp hạng trực tiếp cả 108 chart từ catalogue gốc
  • Trả Top-10 cho người duyệt

18 vs 15

Top-5 trên cùng 33 video (13/11): mới so với cũ

132 vs 442

Số lần gọi model cho 33 case: mới so với cũ

$0,97 vs $1,41

Chi phí mỗi lượt 33 case: mới so với cũ

03 · DỮ LIỆU VÀ TẬP TEST

55 case người kiểm tra xác nhận; dùng 33 để tiết kiệm chi phí

55

Case được người kiểm tra xác nhận: 11 chart × 5 video

33

Tập benchmark chính: 3 video mỗi chart, cố định, dùng cho mọi lượt chạy

22

Giữ riêng, chưa đụng tới: kiểm tra cuối khi đã chốt cấu hình

Catalogue mà model xếp hạng

Cả 108 chart KNIA (124 tài liệu, 38 họ chart) nằm trong mọi request xếp hạng. Nhãn đúng không bao giờ được đưa vào model.

Cách chấm một lượt chạy

Top-1/3/5/10 so với chart của người kiểm tra. Bản tóm tắt còn được chấm so với 24 mô tả do người kiểm tra viết.

Một lượt Gemini trên 33 case tốn khoảng $1,3–1,4, nên phần lớn thay đổi đo được ngay trong ngày.

04 · KẾT QUẢ GEMINI 3.7 FLASH (13–17/11)

Lượt tốt nhất: Top-5 20/33 — mục tiêu là 27

Lượt chạy (33 case)Top-1Top-3Top-5Top-10
Prompt gốc v69151923
v20, lượt 16121925
v20, lượt 2 (y hệt)11131723
v22 từ vựng catalogue10151823
v22 + xếp hạng theo họ9162023
Mục tiêu27

61%

Top-5 tốt nhất trong một lượt (20/33)

76%

Họ chart đúng nằm trong 5 họ đầu tiên (25/33)

Gemini 3.8 Flash tốn gần gấp đôi mỗi case mà không chính xác hơn (Top-5 15–16).

05 · INSIGHT CHÍNH

Model đọc được phần lớn case — nhưng không ổn định

DAO ĐỘNG GIỮA CÁC LƯỢT

Lớn hơn mọi thay đổi đã thử

Hai lượt y hệt cho Top-1 là 6 và 11. Lấy hạng tốt nhất của mỗi case qua 14 lượt, Top-5 đạt 29/33 (88%).

NÚT THẮT LÀ BẢN TÓM TẮT

Không phải bước xếp hạng

Khi tóm tắt khớp mô tả của người kiểm tra, chart đúng đứng Top-1 ở 6/8 case; khi tóm tắt sai, chỉ 1/16.

LỖI ĐỌC THƯỜNG GẶP

Model video hay sai ở đâu

Camera sau bị đọc thành camera trước; sai động tác của xe camera (quay đầu thành rẽ trái); phủ nhận va chạm; bỏ sót đèn đỏ hoặc mũi tên làn.

Hàm ý: cải thiện cách đọc video và giảm dao động trước khi tinh chỉnh tiếp bước xếp hạng.

06 · TÍN HIỆU ĐO TỪ VIDEO (BẰNG CODE, KHÔNG DÙNG LLM)

Dữ kiện đo bằng code giúp model đọc video

OPTICAL FLOW

Chuyển động của xe camera

Rẽ, dừng, phanh gấp tại từng cú giật, đưa vào prompt dưới dạng dữ kiện cho cả 33 video.

YOLOX + BYTETRACK + xADAS

Xe kia

Một sự kiện đo được (cắt ngang, chen vào, áp sát) kèm khoảng thời gian, cho video camera trước.

MỚI · 18/11

Camera trước hay sau

Dựa trên tâm giãn nở của optical flow: đúng 30/33, sai 0, nhận ra cả 6 camera sau; 0 lỗi khi kết luận trên 36 video mới.

62% vs 12%

Qwen đọc đúng động tác xe kia khi có và khi không có sự kiện xe đo được

87% vs 29%

Cùng phép so sánh với Gemini

Hai nhóm khác nhau (nhóm không có sự kiện gồm mọi video camera sau), nhưng chênh lệch rất lớn.

07 · QWEN ON-PREMISE (TỰ HOST TRÊN COLAB, 18/11)

Các cỡ Qwen đang thử trước khi fine-tune

ModelGPUTrạng tháiKết quả trên 33 case
Qwen3-VL-8BA100 40 GBDừng sớm19/48 case không hợp lệ (bước xếp hạng lặp chart)
Qwen3.8-27B FP8G4 96 GBĐã đoTop-5 10–11 mỗi lượt; 17 nếu lấy tốt nhất của 3 lượt
Qwen2-VL-7B DriveLML4 24 GBĐã bỏNgữ cảnh quá nhỏ (32k); model hỏi đáp trên một ảnh
Qwen3-VL-8B + LoRAA100 40 GBĐang chạy[chờ kết quả]
Gemini 3.7 FlashAPIĐối chiếuTop-5 20

1 lệnh

Chạy Colab: VM tự tải video từ Drive, phục vụ model bằng vLLM, chạy xong tự tắt

~10 CU/giờ

Compute unit mỗi giờ trên G4; khoảng 46 unit đã dùng ngày 18/11

08 · VÌ SAO QWEN CÒN YẾU

Cả hai bước đều yếu hơn; suy luận thêm không giúp

20 → 10

Top-5 với tóm tắt của Gemini, khi Qwen xếp hạng thay Gemini

2 vs 6

Tóm tắt kể khớp với người kiểm tra (trên 24): Qwen so với Gemini

8 vs 17

Video được kể giống nhau ở hai lượt (trên 33): Qwen so với Gemini

Bước xếp hạng

Lặp chart hoặc dừng giữa danh sách ở 2–6 case mỗi lượt. Bật suy luận thì mỗi case mất 5–10 phút mà điểm còn thấp hơn.

Bước tóm tắt

Đọc sai xe kia và phủ nhận va chạm. Báo cho model biết camera nhìn ra sau thì sửa được hướng camera (0/5 → 5/5) nhưng không sửa được câu chuyện.

09 · DỮ LIỆU FINE-TUNE CHO QWEN

1.011 video được model mạnh hơn tóm tắt

1 · NGUỒN

Sheet KB: 2.968 video có nhãn, 30 chart. 1.011 video đạt mọi điều kiện sau khi loại 55 case test.

2 · TÓM TẮT

GPT-6.1 (sol) đọc tối đa 60 khung hình mỗi video, kèm ghi chú của nhân viên bảo hiểm làm gợi ý chưa xác minh.

3 · LỌC

Chỉ giữ tóm tắt nếu bước xếp hạng đưa chart có nhãn vào Top-3 (thử tối đa 3 lần).

4 · HUẤN LUYỆN

Cặp video → tóm tắt để fine-tune bước tóm tắt của Qwen (LoRA).

819

Video đã xử lý đến 19/11; 192 video chờ quota tải của Drive

83%

Được nhận: chart có nhãn nằm trong Top-3 (677/819)

611 / 63

Mẫu train / kiểm tra cho LoRA học từ summary GPT (train ngày 19/11)

Lưu ý: GPT được xem ghi chú giám định viên làm gợi ý, mà riêng ghi chú đã đạt Top-5 30/33. Summary sẽ được tạo lại chỉ từ khung hình.

10 · FINE-TUNE ĐẦU TIÊN (19/11)

Qwen3-VL-8B học từ 4.415 nhãn của người

LoRA trên clip tai nạn AI-Hub có nhãn Label Studio (động tác xe, cách hai xe gặp nhau, thời điểm va chạm). Chấm trên phần kiểm tra của AI-Hub; sai số khoảng ±12 điểm.

TrườngĐoán phổ biến nhất8B gốcSau fine-tune
Hai xe gặp nhau thế nào33%37%70%
Động tác của xe kia24%20%53%
Vị trí55%57%78%
Thời điểm va chạm, sai số TB1,19 s1,06 s0,35 s
Động tác xe mình48%50%58%
Ai vào trước (n=24)40%38%21%

71%

Mức trần Top-5 nếu đọc video hoàn hảo: ranker Gemini trên nhãn của người (149 clip)

Đang chạy

Benchmark 33 case với prompt v22, và LoRA thứ hai học từ summary GPT

Chưa đo trên video KB. Mọi clip train đều có tai nạn nên chưa biết model có nhận ra clip “không va chạm”.

11 · UI/UX DUYỆT — ĐỀ XUẤT

Màn hình duyệt mới, có người trong vòng lặp

Thiết kế cho hướng mới, không dùng lại UI cây câu hỏi cũ. Mục tiêu là chốt chart nhanh hơn và chắc hơn.

1 · VIDEO + TÓM TẮT

Dữ kiện chính hiện ngay: hướng camera, động tác từng xe, đèn, va chạm — kèm mốc thời gian để tua tới.

2 · TOP-5 HỌ CHART

Gợi ý gom theo họ chart; mở một họ để so các biến thể cạnh nhau.

3 · QUYẾT ĐỊNH

Người duyệt xác nhận, chọn biến thể khác, hoặc sửa một dữ kiện rồi xếp hạng lại.

4 · HỌC LẠI

Mọi chỉnh sửa được lưu thành dữ liệu có nhãn cho lần fine-tune sau.

76%

Hiện tại họ chart đúng đã nằm trong 5 họ đầu tiên được hiển thị

5

Nhóm cần xem, thay cho danh sách Top-10 phẳng

12 · BƯỚC TIẾP THEO

Ưu tiên trong các tuần tới

1 · Fine-tune bước tóm tắt

Đã xong pilot trên nhãn AI-Hub; đang train LoRA từ summary GPT; benchmark cả hai trên 33 case.

2 · Sửa bước xếp hạng Qwen

Chọn họ chart trước rồi mới chọn chart; chỉ mã chart hợp lệ, không trùng.

3 · Đầu vào video tốt hơn

Theo dõi xe cho camera sau, video 720p, mốc thời gian tiếng va chạm.

4 · Test tập giữ riêng

Chạy 22 case chưa đụng tới khi đã chốt cấu hình.

5 · Chuyên gia xem case khó

4 case chưa từng vào Top-10 ở lượt nào; xác nhận lại nhãn.

6 · Thử nghiệm UI duyệt

Đo thời gian mỗi quyết định với người duyệt thật.

한국어

이번 업데이트 내용

목표: 전체 사례의 80%(33건 중 27건)에서 정답 KNIA 차트가 상위 5개 추천 안에 들어, 검토자가 짧은 목록에서 고를 수 있게 하는 것입니다.

01 타임라인

02 두 가지 접근 방식

03 데이터와 평가 세트

04 Gemini 결과

05 핵심 인사이트

06 영상 측정 신호

07 온프레미스 Qwen

08 Qwen이 뒤처지는 이유

09 파인튜닝 데이터

10 첫 파인튜닝 결과

11 검토 UI/UX 제안

12 다음 단계

01 · 타임라인

1,080건 기준선에서 온프레미스 Qwen까지

시기진행 내용결과
2026년 9월첫 대규모 실행: 라벨된 영상 1,080건에 Gemini 3.7 적용Top-5 45.7%, Top-1 24.5%
9월 17일블랙박스 움직임 프롬프트 연구; temperature 0 반복 실행같은 영상도 매번 다르게 서술
11월 13일33건 고정 평가 세트 확정; 기존 방식과 신규 방식 비교Top-5: 신규 18, 기존 15
11월 15–16일프롬프트·추론·재순위 변형; Qwen, Kimi, Gemma 비교Gemini 3.7보다 나은 모델 없음
11월 16–17일측정 신호: 옵티컬 플로우, YOLOX + ByteTrack, xADAS최고 Top-5 20/33 (61%)
11월 18일Colab에서 Qwen 자체 호스팅; 파인튜닝 데이터 생성 시작Qwen 27B Top-5 11/33
11월 19일첫 파인튜닝: AI-Hub 사람 라벨 4,415건으로 Qwen3-VL-8B LoRA상대 차량 동작 20% → 53%
다음두 파인튜닝 모델을 33건으로 벤치마크; 순위 단계 개선; 보류 세트 검증[추후 추가]

Top-k = 정답 차트가 처음 k개 추천 안에 있는 경우. 고정 평가 세트 = 검토자가 확인한 33건.

02 · 두 가지 접근 방식

영상 요약 + LLM 차트 선택에 집중합니다

기존 방식

질문 시리즈 + KNIA 결정 트리

  • 비전 모델이 프레임별 고정 질문(움직임, 차로, 신호)에 답함
  • 답변이 KNIA 규칙 트리를 따라 차트와 기본 과실비율로 이어짐
  • 한 답이 틀리면 경로 전체가 어긋나고, 사례마다 모델 호출이 많음

신규 방식 · 현재 집중

영상 요약 + LLM이 차트 선택

  • 영상 모델이 구조화된 사고 요약을 하나 작성
  • LLM이 원본 카탈로그에서 108개 차트 전체를 직접 순위화
  • 검토자에게 Top-10 목록 제공

18 vs 15

같은 33건의 Top-5 (11월 13일): 신규 대 기존

132 vs 442

33건 처리 시 모델 호출 수: 신규 대 기존

$0.97 vs $1.41

33건 1회 실행 비용: 신규 대 기존

03 · 데이터와 평가 세트

검토자 확인 55건 중 비용 절감을 위해 33건 사용

55

검토자가 확인한 사례: 차트 11종 × 영상 5건

33

주 평가 세트: 차트당 3건, 고정되어 모든 실행에 사용

22

보류 세트(미사용): 구성이 확정되면 최종 검증

모델이 순위를 매기는 카탈로그

KNIA 차트 108개 전체(문서 124개, 차트군 38개)가 모든 순위 요청에 들어갑니다. 정답 라벨은 모델 입력에 절대 들어가지 않습니다.

채점 방법

검토자 차트 기준 Top-1/3/5/10. 요약은 검토자가 작성한 설명 24건과도 비교해 채점합니다.

33건 Gemini 1회 실행 비용은 약 $1.3–1.4로, 대부분의 변경을 당일에 측정할 수 있습니다.

04 · GEMINI 3.7 FLASH 결과 (11월 13–17일)

최고 단일 실행: Top-5 20/33 — 목표는 27

실행 (33건)Top-1Top-3Top-5Top-10
기본 프롬프트 v69151923
v20, 1차 실행6121925
v20, 2차 실행 (동일 설정)11131723
v22 카탈로그 용어10151823
v22 + 차트군 우선 순위화9162023
목표27

61%

단일 실행 최고 Top-5 (20/33)

76%

정답 차트군이 처음 5개 차트군 안에 있음 (25/33)

Gemini 3.8 Flash는 사례당 비용이 약 2배이지만 더 정확하지 않았습니다 (Top-5 15–16).

05 · 핵심 인사이트

모델은 대부분을 읽을 수 있지만 일관되지 않습니다

실행 간 편차

시도한 어떤 변경보다 큼

동일한 두 실행의 Top-1이 6과 11이었습니다. 14회 실행에서 사례별 최고 순위를 취하면 Top-5가 29/33(88%)에 이릅니다.

병목은 요약 단계

차트 순위 단계가 아님

요약이 검토자 설명과 일치하면 정답 차트가 8건 중 6건에서 Top-1, 요약이 틀리면 16건 중 1건뿐이었습니다.

대표적인 판독 오류

영상 모델이 틀리는 부분

후방 카메라를 전방으로 판독; 카메라 차량의 동작 오인(유턴을 좌회전으로); 충돌 부정; 적신호·차로 화살표 누락.

시사점: 순위 단계를 더 조정하기 전에 영상 판독을 개선하고 편차를 줄여야 합니다.

06 · 영상 측정 신호 (코드 측정, LLM 미사용)

코드로 측정한 사실이 영상 판독을 돕습니다

옵티컬 플로우

카메라 차량의 움직임

충격 시점별 회전·정지·급제동을 33건 모든 영상의 프롬프트에 사실로 제공합니다.

YOLOX + BYTETRACK + xADAS

상대 차량

측정된 사건 하나(끼어들기, 횡단, 접근)와 그 시간 구간을 전방 카메라 영상에 제공합니다.

신규 · 11월 18일

전방 또는 후방 카메라

옵티컬 플로우 확장 중심 기반: 33건 중 30건 정답, 오답 0, 후방 카메라 6건 모두 탐지; 새 영상 36건에서 확정 판정 오류 0건.

62% vs 12%

측정된 상대 차량 사건이 있을 때와 없을 때 Qwen이 상대 차량 동작을 맞힌 비율

87% vs 29%

같은 비교의 Gemini 결과

두 그룹은 다르지만(사건 없는 그룹에 후방 카메라 영상 전부 포함) 차이가 큽니다.

07 · 온프레미스 QWEN (COLAB 자체 호스팅, 11월 18일)

파인튜닝 전 Qwen 모델 크기별 시험

모델GPU상태33건 결과
Qwen3-VL-8BA100 40 GB조기 중단48건 중 19건 무효 (순위 단계에서 차트 중복)
Qwen3.8-27B FP8G4 96 GB측정 완료실행당 Top-5 10–11; 3회 중 최고값 기준 17
Qwen2-VL-7B DriveLML4 24 GB중단컨텍스트 부족 (32k); 단일 이미지 질의응답용
Qwen3-VL-8B + LoRAA100 40 GB진행 중[결과 대기]
Gemini 3.7 FlashAPI기준Top-5 20

명령 1개

Colab 실행: VM이 Drive에서 영상을 받아 vLLM으로 모델을 서비스하고, 끝나면 자동 종료

~10 CU/시간

G4 시간당 컴퓨트 유닛; 11월 18일 약 46 유닛 사용

08 · QWEN이 뒤처지는 이유

두 단계 모두 약하고, 추론을 늘려도 나아지지 않습니다

20 → 10

Gemini 요약을 Gemini 대신 Qwen이 순위화할 때의 Top-5

2 vs 6

검토자 설명과 일치한 요약 (24건 중): Qwen 대 Gemini

8 vs 17

두 번의 실행에서 같게 서술된 영상 (33건 중): Qwen 대 Gemini

순위 단계

실행마다 2–6건에서 차트를 중복하거나 목록 중간에 멈춥니다. 추론을 켜면 사례당 5–10분이 걸리고 점수도 더 낮았습니다.

요약 단계

상대 차량을 잘못 읽고 충돌을 부정합니다. 후방 카메라라고 알려 주자 카메라 방향은 고쳐졌지만(0/5 → 5/5) 사고 서술은 개선되지 않았습니다.

09 · QWEN 파인튜닝 데이터

더 강한 모델로 영상 1,011건 요약

1 · 원천

KB 시트: 라벨된 영상 2,968건, 차트 30종. 평가용 55건을 제외하고 모든 조건을 충족한 1,011건.

2 · 요약

GPT-6.1 (sol)이 영상당 최대 60프레임을 읽고, 보험 담당자 메모를 미검증 힌트로 사용.

3 · 필터

순위화 결과 라벨 차트가 Top-3에 들 때만 요약을 채택 (최대 3회 시도).

4 · 학습

영상 → 요약 쌍으로 Qwen 요약 단계를 파인튜닝 (LoRA).

819

11월 19일까지 처리된 영상; 192건은 Drive 다운로드 한도 대기

83%

채택: 라벨 차트가 Top-3 안에 있음 (819건 중 677건)

611 / 63

GPT 요약 LoRA의 학습 / 검증 샘플 (11월 19일 학습)

주의: GPT가 보험 담당자 메모를 힌트로 사용했고, 메모만으로도 Top-5 30/33. 요약은 영상 프레임만으로 다시 생성 예정.

10 · 첫 파인튜닝 (11월 19일)

사람 라벨 4,415건으로 학습한 Qwen3-VL-8B

AI-Hub 사고 영상의 Label Studio 라벨로 LoRA 학습. AI-Hub 검증 세트 채점; 오차 약 ±12%p.

항목최빈값8B 기본파인튜닝
두 차량의 접근 관계33%37%70%
상대 차량 동작24%20%53%
위치55%57%78%
충돌 시점 평균 오차1.19초1.06초0.35초
자차 동작48%50%58%
먼저 진입한 차량 (n=24)40%38%21%

71%

완벽한 인식 시 Top-5 상한: 사람 라벨에 Gemini 순위 모델 적용 (149건)

진행 중

프롬프트 v22로 33건 벤치마크, GPT 요약으로 학습한 두 번째 LoRA

KB 영상에서는 아직 미측정. 학습 영상이 모두 사고 영상이라 “충돌 없음” 판별은 미검증.

11 · 검토 UI/UX — 제안

사람이 참여하는 새로운 검토 화면

기존 질문 트리 UI가 아닌 신규 방식에 맞춰 설계합니다. 목표는 더 빠르고 확실한 차트 결정입니다.

1 · 영상 + 요약

핵심 사실을 먼저 표시: 카메라 방향, 각 차량 동작, 신호, 충돌 — 해당 시점으로 바로 이동.

2 · 상위 5개 차트군

추천을 차트군별로 묶고, 차트군을 열어 변형을 나란히 비교.

3 · 결정

검토자가 확정하거나 다른 변형을 선택하거나, 사실을 수정한 뒤 다시 순위화.

4 · 학습

모든 수정은 다음 파인튜닝을 위한 라벨 데이터로 저장.

76%

현재도 정답 차트군이 처음 표시되는 5개 차트군 안에 있음

5

평면 Top-10 목록 대신 확인할 그룹 수

12 · 다음 단계

향후 몇 주간의 우선순위

1 · Qwen 요약 파인튜닝

AI-Hub 라벨 파일럿 완료; GPT 요약 LoRA 학습 중; 두 모델 모두 33건으로 벤치마크.

2 · Qwen 순위 단계 개선

차트군을 먼저 고른 뒤 차트 선택; 유효하고 중복 없는 차트 ID만.

3 · 영상 입력 개선

후방 카메라용 차량 추적, 720p 영상, 충돌음 시점.

4 · 보류 세트 검증

구성이 확정되면 미사용 22건 실행.

5 · 어려운 사례 전문가 검토

어떤 실행에서도 Top-10에 들지 못한 4건; 라벨 재확인.

6 · 검토 UI 파일럿

실제 검토자와 결정당 소요 시간 측정.