harvey-labs
AIエージェントが実際の法務業務をどこまでこなせるかを測るオープンソースのベンチマークです。
Xで共有ライセンス: MIT
概要
Harvey LABはLegal Agent Benchmarkの略で、Harvey AIが公開するオープンソースのプロジェクトです。LLMエージェントが現実的な法務業務をどこまでこなせるかを測ります。指示、文書、採点基準を含むタスクのデータセットと、エージェントを実行して採点する実行ハーネスの2つで構成されます。チュートリアルではM&Aのデータルーム案件を例に、準備から比較ダッシュボードまでを説明しています。
主な特長
- 指示、文書、採点基準を含むタスクのデータセット
- エージェントを実行し評価するハーネス
- LLM審査員を用いた全項目合格方式の採点
- レポートと比較ダッシュボード
- モデルやタスクを追加するためのアダプター
こんな人・用途に
法務向けAIエージェントを開発または比較する研究者やチームで、共通のテストセットが必要な場合に向いています。READMEによれば、タスクとハーネスは拡充中です。
- アップストリーム
- harveyai/harvey-labs
- GitHubのフォーク
- Guo-astro/harvey-labs
- アップストリームのスター数
- 1.4k
- カテゴリ
- AIエージェントとLLMツール
- 言語
- Python
- ライセンス
- MIT
- フォーク日
- 2026-09-28
- 同期状態
- 同期済み最終同期 2026-10-11
同じカテゴリ: AIエージェントとLLMツール
Hello-Agentsは、AIエージェントの原理と実践を学ぶチュートリアルです。基礎からエージェントシステムやアプリケーションの構築までを案内します。
フォーク日 2026-10-10最終同期 2026-10-11独自ライセンス(リポジトリを参照)AIエージェントとLLMツールGitHub
OpenSREは、自社のインフラツールとワークフローを使って本番障害の調査を支援するAIエージェントを構築するオープンソースフレームワークです。
フォーク日 2026-10-10最終同期 2026-10-11ライセンス: Apache-2.0AIエージェントとLLMツールGitHub
Context Modeは、AIコーディングエージェントのコンテキスト消費を抑え、会話の圧縮後も作業を続けやすくします。MCPとフックを通じて、ツール出力、セッション記憶、対応プラットフォームへのルーティングを扱います。
フォーク日 2026-10-10最終同期 2026-10-11独自ライセンス(リポジトリを参照)AIエージェントとLLMツールGitHub
ARTEXは、資産の探索とテスト状況の確認に使うセルフホスト型のAI侵入テストシステムです。タスク、発見事項、資産データ、承認を一つの画面で扱えます。
フォーク日 2026-10-10最終同期 2026-10-11ライセンス: AGPL-3.0AIエージェントとLLMツールGitHub