โ ่ฟๅๆป่ง
๐ Browser Use
Browser Automation Agent โ DOM ไบคไบๅผๆต่งๅจ่ชๅจๅ
Iterative Loop
DOM Interaction
Python
Playwright
๐ฅ ~300่ก็ณป็ปๆ็คบ่ฏ
๐ฅ Judge่ฏไผฐ็ณป็ป
ๅคๆ ็ญพ้กต
โญ 60k+
๐ ~300่ก็ณป็ปๆ็คบ่ฏ
๐ง 20+ ๆต่งๅจๅจไฝ
๐ง ๆถๆฏๅ็ผฉ+่งๅ
๐ธ ๆชๅพ+DOMๅๆจกๆ
ไธใๆ ธๅฟๆถๆ
Browser Use ๆดไฝๆถๆ โ Iterative Browser Automation Loop
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ AgentService (ไธปๆๅกๅฑ) โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ step() (ไธปๅพช็ฏ, ๆฏๆญฅๆง่ก) โ โ
โ โ โ โ
โ โ 1. get_browser_state() โ DOMๆ + ๆชๅพ + ๆ ็ญพ้กตไฟกๆฏ โ โ
โ โ 2. build_prompt() โ ็ป่ฃ
็ณป็ปๆ็คบ่ฏ+ๅๅฒ+็ถๆ โ โ
โ โ 3. LLM call โ ่งฃๆ JSON ๅจไฝ่พๅบ โ โ
โ โ 4. Controller.execute() โ ๆง่กๆต่งๅจๅจไฝ โ โ
โ โ 5. Event bus ่ฎฐๅฝ็ปๆ โ ๆถๆฏๅ็ผฉๆฃๆฅ โ ไธไธ่ฝฎ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โ
โ โ BrowserContext โ โ Controller โ โ DOM Service โ โ
โ โ (Playwright) โ โ (ๅจไฝๆณจๅ่กจ) โ โ (CDP accessibility) โ
โ โ ๆ ็ญพ้กต/ๆชๅพ โ โ click/type/ โ โ DOMๆ ็ฎๅ โ โ
โ โ ๅฏผ่ช/็ญๅพ
โ โ scroll/extractโ โ ๅ
็ด ็ดขๅผๅ้
โ โ
โ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โ
โ โ SystemPrompt โ โ MessageCompactโ โ Judge โ โ
โ โ ๆจกๅ็นๅฎๅไฝ โ โ (ๆถๆฏๅ็ผฉ) โ โ (LLM่ฏไผฐ) โ โ
โ โ 9ไธชๆ็คบ่ฏๆไปถ โ โ ่งฆๅๆกไปถๅคๆญ โ โ ไปปๅกๅฎๆ่ดจ้ โ โ
โ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๆถๆ็น็น
- ่ฟญไปฃๅผ้ญ็ฏ๏ผๆฏไธๆญฅ = ่งๅฏๆต่งๅจ็ถๆ โ LLM ๆจ็ โ ๆง่กๅจไฝ โ ้ช่ฏ็ปๆ๏ผๅฝขๆ See-Think-Act ้ญ็ฏ
- ๅๆจกๆ่พๅ
ฅ๏ผDOM ๆๆฌๆ ๏ผ็ฒพ็กฎ็ดขๅผ๏ผ+ ๆชๅพ๏ผ่ง่ง้ช่ฏ๏ผ๏ผไบ็ธ่กฅๅ
- ไบไปถ้ฉฑๅจ๏ผAgentEventBus ่ดฏ็ฉฟๆดไธช็ๅฝๅจๆ๏ผๆฏๆๅค้จ่งๅฏๅ Hook
- ๆถๆฏๅ็ผฉ๏ผๅฝๅๅฒๆถๆฏ่ถ
่ฟ้ๅผ๏ผ่ชๅจ็จ LLM ็ๆๆ่ฆๆฟๆขๆงๅๅฒ
- ๆจกๅ็นๅฎไผๅ๏ผ9 ไธชไธๅ็ณป็ปๆ็คบ่ฏๆไปถ๏ผ้ๅฏนไธๅๆจกๅ๏ผClaudeใFlashใNo-Thinking๏ผ่ฐไผ
ไบใ๐ ๆ็คบ่ฏๅทฅ็จ๏ผๆ ธๅฟๆทฑๅบฆๅๆ๏ผ
Browser Use ็็ณป็ปๆ็คบ่ฏๆฏๆๆๆต่งๅจ Agent ไธญๆ่ฏฆๅฐฝ็โโ็บฆ 300 ่ก๏ผ่ฆ็ไบไป DOM ่งฃๆ่งๅๅฐ้่ฏฏๆขๅค็ญ็ฅ็ๅฎๆดๆไฝๆๅใ่ฟไธๆฏไธไธช็ฎๅ็ "ไฝ ๆฏไธไธชๆต่งๅจๅฉๆ" ๆ็คบ่ฏ๏ผ่ๆฏไธไปฝ็ฒพๅฟ่ฎพ่ฎก็ๆต่งๅจๆไฝ่ง่ใ
็ณป็ปๆ็คบ่ฏ็ปๆ๏ผsystem_prompt.md๏ผ
System Prompt ็ปๆ (~300 ่ก):
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ 1. ่บซไปฝไธ็ฎๆ โ "You are an AI agent designed to
โ iterative loop, user_request โ operate in an iterative loop"
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 2. ่พๅ
ฅๆ ผๅผ่ฏดๆ โ 5 ็ง่พๅ
ฅ: agent_history,
โ (agent_history, agent_state, โ agent_state, browser_state,
โ browser_state, browser_vision, โ browser_vision, read_state
โ read_state) โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 3. DOM ไบคไบ่งๅ โ ๐ฅ ๆ ธๅฟ๏ผ[index] ็ผๅทไฝ็ณป
โ (browser_rules, ~40่ก) โ *[ = ๆฐๅ
็ด ๆ ่ฎฐ
โ โ |SCROLL| = ๅฏๆปๅจๅฎนๅจ
โ โ |SHADOW(open/closed)|
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 4. ๆไปถ็ณป็ป่งๅ โ todo.md, results.md,
โ (file_system) โ <10ๆญฅไธ็จๆไปถ็ณป็ป
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 5. ่งๅ็ณป็ป โ ็ฎๅโ็ดๆฅๅ, ๆธ
ๆฐโplan_update,
โ (planning) โ ไธๆธ
ๆฐโๅ
ๆข็ดขๅ่งๅ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 6. ไปปๅกๅฎๆ่งๅ โ ๐ฅ pre_done_verification:
โ (task_completion_rules) โ 6ๆญฅ้ช่ฏๆธ
ๅ! ้ฒๅนป่ง
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 7. ๅจไฝ่งๅ โ ้กต้ขๆนๅๅๅจไฝๆพๆๅ
โ (action_rules + efficiency) โ ๅฎๅ
จๅจไฝๅฏ้พๆฅ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 8. ๆจ็่งๅ โ ๆพๅผๆจ็่ฆๆฑ: ๅๆๅๅฒโๅคๆญ
โ (reasoning_rules) โ ไธไธๆญฅๆ่ดฅโ่งๅไธไธๆญฅ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 9. ็คบไพ (examples) โ todo/evaluation/memory/
โ โ next_goal ๅ็ฑป็คบไพ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 10. ่พๅบๆ ผๅผ (output) โ JSON: thinking/evaluation/
โ + critical_reminders โ memory/next_goal/action
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ 11. ้่ฏฏๆขๅค (error_recovery) โ 8 ๆญฅๆขๅค็ญ็ฅ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ฅ ๆ ธๅฟๆ็คบ่ฏ็ๆฎต๏ผDOM ไบคไบ่งๅ
Interactive Elements: All interactive elements will be provided
in a tree-style XML format:
- Format: [index]<tagname attribute=value /> for interactive elements
- Text content appears as child nodes on separate lines
- Indentation with tabs shows parent/child relationships
Examples:
[33]<div />
User form
[35]<input type=text placeholder=Enter name />
*[38]<button aria-label=Submit form />
Submit
[40]<a />
About us
Note that:
- Only elements with numeric indexes in [] are interactive
- Elements tagged with a star *[ are NEW interactive elements
that appeared since the last step - if url has not changed.
- |SCROLL| prefix indicates scrollable containers
- |SHADOW(open)| or |SHADOW(closed)|
prefix indicates shadow DOM elements
๐ก *[ ๆ ่ฎฐๆฏๅ
ณ้ฎๅๆฐโโๅ่ฏ LLM ๅชไบๅ
็ด ๆฏไธไธๆญฅๆไฝๅๆฐๅบ็ฐ็๏ผๅผๅฏผ LLM ๅ
ณๆณจๅจๆๅๅ๏ผๅฆไธๆ่ๅใๅผน็ช๏ผใ
๐ฅ ๆ ธๅฟๆ็คบ่ฏ็ๆฎต๏ผpre_done_verification
BEFORE calling done with success=true,
you MUST perform this verification:
1. Re-read the USER REQUEST โ list every concrete requirement
2. Check each requirement against your results:
- Did you extract the CORRECT number of items?
- Did you apply ALL specified filters/criteria?
- Does your output match the requested format exactly?
3. Verify actions actually completed:
- If you submitted a form โ check the page state
4. Verify data grounding: Every URL, price, name, and value
must appear verbatim in your tool outputs. Do NOT use your
training knowledge to fill gaps
5. Blocking error check: If unresolved blocker โ
set success=false
6. If ANY requirement is unmet โ set success to false
๐ก ่ฟๆฏ้ฒๅนป่ง็็กฌ็บฆๆโโ่ฆๆฑ LLM ๅจๅฃฐๆๅฎๆๅๆง่ก 6 ๆญฅ้ช่ฏ๏ผ็นๅซๅผบ่ฐ"ไธ่ฆ็จ่ฎญ็ป็ฅ่ฏๅกซ่กฅ็ฉบ็ฝ"ใ
๐ฅ ๆ ธๅฟๆ็คบ่ฏ็ๆฎต๏ผๆ็ๆๅไธๅจไฝๅ็ฑป
Action categories:
- Page-changing (always last): navigate, search, go_back,
switch, evaluate โ remaining actions after them are skipped
- Potentially page-changing: click (on links/buttons that
navigate) โ monitored at runtime
- Safe to chain: input, scroll, find_text, extract,
search_page, find_elements, file operations
Recommended combinations:
- input + input + input + click โ Fill multiple form fields then submit
- scroll + scroll โ Scroll further down the page
- File operations + browser actions
Do not try multiple different paths in one step.
Always have one clear goal per step.
๐ก ๅจไฝๅ็ฑปๆฏๆ็คบ่ฏๅทฅ็จ็็ฒพ้ซโโLLM ็ฅ้ๅชไบๅจไฝๅฎๅ
จๅฏ้พๆฅ๏ผๅชไบไผไธญๆญๅ็ปญๅจไฝใ่ฟๅคงๅคงๅๅฐไบๅจไฝๆง่ก้่ฏฏใ
ๆจกๅ็นๅฎๆ็คบ่ฏๅไฝ
| ๆไปถ | ้็จๆจกๅ | ๅทฎๅผ |
|---|
system_prompt.md | ้ป่ฎค (Claude/GPT-4) | ๅฎๆด็๏ผๅซ thinking block |
system_prompt_no_thinking.md | ๆ ๆ็ปด้พๆจกๅ | ็งป้ค thinking block ่ฆๆฑ |
system_prompt_flash.md | Flash ็ฑปๆจกๅ | ็ฒพ็ฎ็๏ผๅๅฐๆจ็่ฆๆฑ |
system_prompt_anthropic_flash.md | Claude Flash | ้้
Anthropic API ๆ ผๅผ |
system_prompt_flash_anthropic.md | Claude Flash (alt) | ๅฆไธ Anthropic Flash ๅไฝ |
system_prompt_browser_use.md | Browser Use ไธ็จ | ๅผบ่ฐๆต่งๅจๆไฝ |
system_prompt_browser_use_flash.md | Browser Use Flash | ็ฒพ็ฎๆต่งๅจๆไฝ็ |
system_prompt_browser_use_no_thinking.md | Browser Use ๆ ๆ็ปด้พ | ๆ thinking ็ๆต่งๅจ็ |
๐ก 9 ไธชๆ็คบ่ฏๆไปถ๏ผ่ฟๆฏ"ไธไธชๆ็คบ่ฏๆๅคฉไธ"็ๅๆจกๅผโโไธๅๆจกๅ้่ฆไธๅ็ๆ็คบ่ฏ็ญ็ฅใFlash ๆจกๅ็จ็ฒพ็ฎ็้ฟๅ
่ฝๅไธ่ถณๅฏผ่ด็ๆ ผๅผ้่ฏฏใ
ไธใโป๏ธ ไธปๅพช็ฏ
AgentService.step() ไธปๅพช็ฏ โ ๆฏไธๆญฅ็ๅฎๆดๆต็จ:
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ step() ๆง่ก โ
โ โ
โ 1. ๆฃๆฅ AgentState โ
โ โโ STOPPED/RUNNING/PAUSED โ ็ถๆ่ฝฌๆข โ
โ โ
โ 2. ่ทๅๆต่งๅจ็ถๆ โ
โ โโ BrowserContext.get_state() โ
โ โ โโ DOMService.get_clickable_elements() โ
โ โ โ โโ CDP โ accessibility tree โ ็ฎๅDOM โ
โ โ โโ ๆชๅพ (screenshot) โ
โ โ โโ ๆ ็ญพ้กตๅ่กจ + URL โ
โ โโ ็ป่ฃ
BrowserState โ
โ โ
โ 3. ๆๅปบๆ็คบ่ฏ โ
โ โโ SystemPrompt.get_prompt() โ ๆจกๅ็นๅฎ็ณป็ปๆ็คบ่ฏ โ
โ โโ AgentHistory โ ๅ็ผฉๅ็ๅๅฒๆถๆฏ โ
โ โโ AgentState (user_request, todo, step_info) โ
โ โโ BrowserState (DOMๆ +ๆชๅพ) โ
โ โ
โ 4. LLM ่ฐ็จ โ
โ โโ ็ปๆๅ่พๅบ: JSON {thinking, evaluation, memory, โ
โ next_goal, action[]} โ
โ โ
โ 5. ๅจไฝๆง่ก โ
โ โโ Controller.execute(action) โ
โ โ โโ ๆฅๆพ ActionRegistry ไธญ็ๆณจๅๅจไฝ โ
โ โ โโ ้ช่ฏๅๆฐ + ๆง่ก โ
โ โ โโ ่ฟๅ ActionResult โ
โ โโ ๅคๅจไฝ้กบๅบๆง่ก (้กต้ขๆนๅๆถไธญๆญ) โ
โ โ
โ 6. ไบไปถ่ฎฐๅฝ โ
โ โโ AgentEventBus.emit(step_event) โ
โ โโ ่ฎฐๅฝๅฐ AgentHistory โ
โ โ
โ 7. ๆถๆฏๅ็ผฉๆฃๆฅ โ
โ โโ MessageCompactionSettings โ
โ โโ ่ถ
่ฟ token ้ๅผ? โ LLM ็ๆๆ่ฆๆฟๆขๆงๆถๆฏ โ
โ โโ ๅฆๅ็ปง็ปญ โ
โ โ
โ 8. ๅพช็ฏ โ ๅๅฐๆญฅ้ชค 1 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
done ๆกไปถ: LLM ่พๅบ done ๅจไฝ OR ่พพๅฐ max_steps
ๅ
ณ้ฎๅพช็ฏ็ป่
- ๅคๅจไฝ้กบๅบๆง่ก๏ผLLM ๅฏไปฅๅจไธไธช step ไธญ่พๅบๅคไธชๅจไฝ๏ผๅฆ inputร3 + click๏ผ๏ผไฝ้กต้ขๆนๅๅๅจไฝไผไธญๆญๅ็ปญๅจไฝ
- ๆถๆฏๅ็ผฉ๏ผ
MessageCompactionSettings ๆงๅถโโๅฝๅๅฒ token ่ถ
่ฟ้ๅผ๏ผ็จ LLM ็ๆๆ่ฆๆฟๆขๆงๆถๆฏ๏ผไฟ็ๆ่ฟ N ่ฝฎๅฎๆดๅๅฒ
- ่งๅ็ณป็ป๏ผLLM ๅฏ่พๅบ
plan_update ๅ current_plan_item๏ผๅจ่พๅ
ฅไธญ็ๅฐ <plan> ๆ ็ญพ็่ฟๅบฆๆ ่ฎฐ [x] [>] [ ] [-]
- AgentState ็ถๆๆบ๏ผSTOPPED โ RUNNING โ (PAUSED) โ STOPPED๏ผๆฏๆๅค้จๆๅ/ๆขๅค
ๅใ๐ง ๅทฅๅ
ท็ณป็ป
Controller + ActionRegistry โ ๆณจๅๅผๅจไฝ็ณป็ป
ๅทฅๅ
ทๆณจๅไธๆง่ก:
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ActionRegistry โ
โ โ
โ @registry.action("click") โ
โ async def click(index: int): ... โ
โ โ
โ @registry.action("input_text") โ
โ async def input_text(index, text): โ
โ โ
โ ๆฏๆๆ้ค: exclude_actions=[...] โ
โ โ ๅจๆ่ฃๅชๅฏ็จๅจไฝ้ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ Controller โ
โ โ
โ execute(action) โ โ
โ 1. ๆฅๆพๆณจๅ็ๅจไฝ โ
โ 2. ้ช่ฏๅๆฐ โ
โ 3. ๅจ BrowserContext ไธญๆง่ก โ
โ 4. ่ฟๅ ActionResult โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
| ็ฑปๅซ | ๅจไฝ | ่ฏดๆ |
|---|
| ๅฏผ่ช | navigate(url), go_back(), search(query) | ้กต้ขๆนๅๅ๏ผๆพๆๅ |
| ไบคไบ | click(index), input_text(index, text) | click ๅฏ่ฝ้กต้ขๆนๅ |
| ๆปๅจ | scroll(direction, amount) | ๅฎๅ
จๅฏ้พๆฅ |
| ๆๅ | extract(goal), search_page(query), find_elements(selector) | ๅฎๅ
จๅฏ้พๆฅ๏ผไฝ extract ๆ่ดต |
| ๆ ็ญพ้กต | switch(tab_id), new_tab(), close_tab() | ๅคๆ ็ญพ้กต็ฎก็ |
| ๆไปถ | read_file(path), write_file(path, content), replace_file(path, old, new) | ๆไน
ๅๆไปถ็ณป็ป |
| ๅฎๆ | done(text, success, files_to_display) | ็ปๆญขๅพช็ฏ |
DOM Service โ CDP Accessibility Tree ๅค็
- CDP ๅ่ฎฎ๏ผ้่ฟ Chrome DevTools Protocol ่ทๅ accessibility tree๏ผ่้็ดๆฅ่งฃๆ HTML
- ๅ
็ด ็ดขๅผ๏ผไธบๆฏไธชๅฏไบคไบๅ
็ด ๅ้
ๅฏไธ
[index]๏ผLLM ้่ฟ็ดขๅผๅผ็จๅ
็ด
- ๆ ๅฝข็ฎๅ๏ผๅชไฟ็ๅฏไบคไบๅ
็ด + ๅฑ็บงๅ
ณ็ณป๏ผๅคงๅน
ๅๅฐ token ๆถ่
- Shadow DOM ๆฏๆ๏ผ
|SHADOW(open)| / |SHADOW(closed)| ๅ็ผๆ ่ฎฐ
- ๅข้ๆดๆฐ๏ผ
*[ ๆ ่ฎฐๆฐๅบ็ฐ็ๅ
็ด ๏ผLLM ็ฅ้ๅชไบๆฏไธไธๆญฅๆไฝๅฏผ่ด็ๅจๆๅๅ
ไบใ๐ง ่ฎฐๅฟไธไธไธๆ็ณป็ป
ไธๅฑไธไธๆ็ฎก็
ไธไธๆๆๆ:
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ STABLE (ๆฏๆญฅไธๅ) โ
โ โข System Prompt (~300่ก) โ
โ โข User Request ( ๆ ็ญพ) โ
โ โข Agent State (todo, step_info) โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ GROWING (ๆ็ปญๅข้ฟ, ้ๅ็ผฉ) โ
โ โข Agent History (้ๆญฅ็ดฏ็งฏ) โ
โ โโ ๆฏๆญฅ: evaluation + memory + action_result โ
โ โข ๅ็ผฉ็ญ็ฅ: MessageCompaction โ
โ โโ ่ถ
่ฟ้ๅผ โ LLM ๆ่ฆๆฟๆขๆงๆถๆฏ โ
โ โโ ไฟ็ๆ่ฟ N ่ฝฎๅฎๆดๅๅฒ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ EPISODIC (ๆฏๆญฅๅทๆฐ) โ
โ โข Browser State (DOMๆ + URL + ๆ ็ญพ้กต) โ
โ โข Browser Vision (ๆชๅพ) โ
โ โข Read State (extract/read_file ็ไธดๆถ็ปๆ) โ
โ โข File System (todo.md, results.md ็ญ) โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
่ฎฐๅฟๆบๅถ:
โข LLM ่พๅบไธญ็ "memory" ๅญๆฎต โ ๆฏๆญฅ 1-3 ๅฅ่ฏ
โข todo.md โ ้ฟไปปๅก่ฟๅบฆ่ท่ธช
โข results.md โ ็ปๆ็ดฏ็งฏ
โข ๆ ๆไน
ๅ่ฎฐๅฟ (ๆ ่ทจไผ่ฏ่ฎฐๅฟ)
ๆถๆฏๅ็ผฉ (MessageCompaction)
- ่งฆๅๆกไปถ๏ผๅๅฒๆถๆฏ token ๆฐ่ถ
่ฟ้
็ฝฎ้ๅผ
- ๅ็ผฉๆนๅผ๏ผ่ฐ็จ LLM ๅฏนๆงๅๅฒ็ๆๆ่ฆ๏ผๆฟๆขไธบไธๆกๆ่ฆๆถๆฏ
- ไฟๆคๆบๅถ๏ผๅง็ปไฟ็ๆ่ฟ N ่ฝฎๅฎๆดๅๅฒ๏ผไธๅๅ็ผฉ
- ้
็ฝฎ็ตๆดป๏ผ
MessageCompactionSettings ๅฏ่ฎพ็ฝฎ้ๅผๅไฟ็่ฝฎๆฐ
ๅ
ญใ๐ ๆ ธๅฟ็ฑป
| ็ฑป | ๆไปถ | ่่ดฃ |
|---|
AgentService | agent/service.py | ไธปๆๅกๅฑ๏ผstep() ๅพช็ฏใไบไปถๆป็บฟใๆถๆฏๅ็ผฉ |
Agent | agent/agent.py | Agent ้
็ฝฎไธ็ถๆ๏ผmodelใmax_stepsใstate |
Controller | tools/service.py | ๅจไฝๆง่กๅจ๏ผๆฅๆพๆณจๅๅจไฝ โ ้ช่ฏๅๆฐ โ ๆง่ก |
ActionRegistry | tools/registry/service.py | ๅจไฝๆณจๅ่กจ๏ผ@registry.action() ๆณจๅ + exclude ่ฟๆปค |
BrowserContext | browser/context.py | Playwright ๆต่งๅจไธไธๆ๏ผๆ ็ญพ้กตใๅฏผ่ชใๆชๅพ |
DOMService | dom/service.py | DOM ๆ ๅค็๏ผCDP accessibility โ ็ฎๅ็ดขๅผๆ |
SystemPrompt | agent/prompts.py | ็ณป็ปๆ็คบ่ฏๆๅปบ๏ผๆจกๅ็นๅฎๅไฝ้ๆฉ |
AgentHistory | agent/views.py | ๅๅฒๆถๆฏ็ฎก็ + ๅ็ผฉ |
Judge | agent/judge.py | LLM ่ฏไผฐ๏ผไปปๅกๅฎๆ่ดจ้ๆๅ |
PlanItem | agent/views.py | ่งๅ้กน๏ผtext + status (done/current/pending/skipped) |
ไธใ๐ ๅ
ณ้ฎๆไปถ
| ๆไปถ | ไฝ็จ | ไบฎ็น |
|---|
agent/system_prompts/system_prompt.md | ๆ ธๅฟ็ณป็ปๆ็คบ่ฏ | ~300่ก๏ผๆ่ฏฆๅฐฝ็ๆต่งๅจๆไฝ่ง่ |
agent/service.py | Agent ไธปๆๅก | step() ไธปๅพช็ฏ + ไบไปถๆป็บฟ + ๅ็ผฉ |
agent/prompts.py | ๆ็คบ่ฏๆๅปบ | SystemPrompt ็ฑป๏ผ9ไธชๅไฝ |
agent/judge.py | LLM ่ฏไผฐ | ็จ LLM ่ฏๅคไปปๅกๅฎๆ่ดจ้ |
agent/views.py | ๆฐๆฎๆจกๅ | AgentState, PlanItem, MessageCompactionSettings |
tools/service.py | Controller | ๅจไฝๆง่กๅ
ฅๅฃ |
tools/registry/service.py | ActionRegistry | ๅจไฝๆณจๅ/ๆ้คๆบๅถ |
dom/service.py | DOM ๅค็ | CDP โ ็ฎๅDOMๆ |
browser/context.py | ๆต่งๅจไธไธๆ | Playwright ๅฐ่ฃ
|
ๅ
ซใโจ ่ฎพ่ฎกไบฎ็น
1. DOM ็ดขๅผไฝ็ณป + ๆฐๅ
็ด ๆ ่ฎฐ
้่ฟ [index] ็ผๅท + *[ ๆฐๅ
็ด ๆ ่ฎฐ๏ผ่งฃๅณไบ LLM ไธๆต่งๅจไบคไบ็ๆ ธๅฟ้ฎ้ข๏ผๅฆไฝ็ฒพ็กฎๅผ็จ้กต้ขๅ
็ด ใๆฏ XPath/CSS selector ๆด็ด่ง๏ผๆฏๅ็ด ๅๆ ๆดๅฏ้ ใ
2. pre_done_verification ้ฒๅนป่ง
6 ๆญฅ้ช่ฏๆธ
ๅๅผบๅถ LLM ๅจๅฃฐๆๅฎๆๅ้ๆฐๆฃๆฅโโ็นๅซๅผบ่ฐ"ไธ่ฆ็จ่ฎญ็ป็ฅ่ฏๅกซ่กฅ็ฉบ็ฝ"๏ผDo NOT use your training knowledge to fill gaps๏ผใ่ฟๆฏ็ฝ่ง็ๆพๅผ้ฒๅนป่งๆ็คบ่ฏ่ฎพ่ฎกใ
3. ๅจไฝๅ็ฑป + ๆ็ๆๅ
ๅฐๅจไฝๅไธบ"้กต้ขๆนๅๅ"๏ผๆพๆๅ๏ผใ"ๅฏ่ฝ้กต้ขๆนๅๅ"๏ผ่ฟ่กๆถ็ๆง๏ผใ"ๅฎๅ
จๅฏ้พๆฅๅ"๏ผ่ฎฉ LLM ็่งฃๅจไฝๅฏไฝ็จ๏ผ้ฟๅ
ๆ ๆ็ๅจไฝๅบๅใ
4. Judge ่ฏไผฐ็ณป็ป
็จๅฆไธไธช LLM ่ฐ็จๆฅ่ฏไผฐ Agent ็ไปปๅกๅฎๆ่ดจ้โโไธๅชๆฏ่ชๆๆฅๅ success/fail๏ผ่ๆฏ็ฌ็ซ่ฏไผฐใ่ฟไธบ่ชๅจๅ่ฏๆตๆไพไบๅฏ่ฝใ
5. ๆจกๅ็นๅฎๆ็คบ่ฏๅไฝ
9 ไธชๆ็คบ่ฏๆไปถ๏ผ้ๅฏนไธๅๆจกๅ่ฝๅ่ฐไผโโFlash ๆจกๅ็จ็ฒพ็ฎ็๏ผๆ ๆ็ปด้พๆจกๅ็งป้ค thinking blockใ่ฟๆฏ"ๆ็คบ่ฏๅทฅ็จ"ไป"ๅไธไธชๅฅฝ็ๆ็คบ่ฏ"ๅฐ"ไธบไธๅๆจกๅๅไธๅๆ็คบ่ฏ"็่ฟๅใ
6. ่งๅ็ณป็ป (plan_update + current_plan_item)
ไธๆฏ็กฌ็ผ็ ็่งๅๆกๆถ๏ผ่ๆฏ่ฝป้็บง็ LLM ่ช้ฉฑๅจ่งๅ๏ผๅคๆไปปๅก่พๅบ plan_update๏ผ็ฎๅไปปๅก็ดๆฅๅใๅจ่พๅ
ฅไธญ็จ [x] [>] [ ] [-] ๆ ่ฎฐ่ฎฉ LLM ็ๅฐ่งๅ่ฟๅบฆใ
๐ฏ Browser Use ๅฏนไฝ ๆๅปบ Agent ็ๅฏ็คบ๏ผ
- ๆ็คบ่ฏๅณๆไฝๆๅโโ300 ่ก็ณป็ปๆ็คบ่ฏไธๆฏๅไฝ๏ผ่ๆฏ็ฒพ็กฎๆงๅถใๆต่งๅจๆไฝๆๅคชๅค่พน็ๆ
ๅต๏ผShadow DOMใๅผน็ชใCAPTCHA๏ผ๏ผๅฟ
้กป่ฏฆๅฐฝๆๅฏผ
- pre_done_verification ๅผๅพๅ้ดโโๅจไปปไฝ้่ฆ LLM ่ชๆฅๅๅฎๆ็ๅบๆฏ๏ผ้ฝๅบๅ ๅ
ฅ้ช่ฏๆญฅ้ชค
- DOM ็ดขๅผไฝ็ณปๆฏๆต่งๅจ Agent ็ๆไฝณๅฎ่ทตโโๆฏๅๆ ใXPath ๆดๅฏ้ ๏ผๅทฒ่ขซๅคไธช้กน็ฎ้็บณ
- ๅจไฝๅ็ฑปๆฏๆ็คบ่ฏๅทฅ็จ็่ฟ้ถๆๅทงโโ่ฎฉ LLM ็่งฃๅจไฝๅฏไฝ็จ๏ผ่้ๅชๅๅบๅฏ็จๅจไฝ
- ๆจกๅ็นๅฎๆ็คบ่ฏๅไฝๆฏ็ไบง็ฏๅข็ๅฟ
่ฆๅฆฅๅโโไธๅๆจกๅ่ฝๅไธๅ๏ผไธๅๅ็ๆ็คบ่ฏไผๆตช่ดนๅผบๆจกๅๆๅๅฎๅผฑๆจกๅ
- ๆถๆฏๅ็ผฉๆฏๆ ้ไธไธๆๆดๅฎ้
โโLLM ็ๆๆ่ฆๆฟๆขๆงๅๅฒ๏ผๆๆฌไฝไธๅฏ้
็ฝฎ
ๆทฑๅบฆ็ ็ฉถ็ๆ ยท 2026-05-17 18:22